UWBA at SemEval-2024 Task 3: Dialogue Representation and Multimodal Fusion for Emotion Cause Analysis

Abstract

In this paper, we present an approach for solving SemEval-2024 Task 3: The Competition of Multimodal Emotion Cause Analysis in Conversations. The task includes two subtasks that focus on emotion-cause pair extraction using text, video, and audio modalities. Our approach is composed of encoding all modalities (MFCC and Wav2Vec for audio, 3D-CNN for video, and transformer-based models for text) and combining them in an utterance-level fusion module. The model is then optimized for link and emotion prediction simultaneously. Our approach achieved 6th place in both subtasks. The full leaderboard can be found at https://codalab.lisn.upsaclay.fr/competitions/16141#results

V tomto článku představujeme přístup k řešení úlohy 3 v soutěži SemEval-2024: The competition of Multimodal Emotion Cause Analysis in Conversations. Úloha obsahuje dva dílčí úkoly, které se zaměřují na extrakci emocí a jejich příčin pomocí textových, obrazových a zvukových modalit. Náš přístup se skládá z kódování všech modalit (MFCC a Wav2Vec pro zvuk, 3D-CNN pro video a modely založené na architektuře Transformer pro text) a jejich zkombinování do fúzního modulu na úrovni promluvy. Model je poté optimalizován pro simultánní predikci emocí a jejich příčin. S naším přístupem jsme dosáhli 6. místa v obou dílčích úkolech. Kompletní žebříček je k dispozici na https://codalab.lisn.upsaclay.fr/competitions/16141#results