UWB at WASSA-2024 Shared Task 2: Cross-lingual Emotion Detection

Abstract

This paper presents our system built for the WASSA-2024 Cross-lingual Emotion Detection Shared Task. The task consists of two subtasks: first, to assess an emotion label from six possible classes for a given tweet in one of five languages, and second, to predict words triggering the detected emotions in binary and numerical formats. Our proposed approach revolves around fine-tuning quantized large language models, specifically Orca 2, with low-rank adapters (LoRA) and multilingual Transformer-based models, such as XLM-R and mT5. We enhance performance through machine translation for both subtasks and trigger word switching for the second subtask. The system achieves excellent performance, ranking 1st in numerical trigger words detection, 3rd in binary trigger words detection, and 7th in emotion detection.

Tento článek představuje náš systém vytvořený pro společnou úlohu WASSA-2024 Cross-lingual Emotion Detection Shared Task. Úloha se skládá ze dvou dílčích úkolů: zaprvé vyhodnotit označení emocí ze šesti možných tříd pro daný tweet v jednom z pěti jazyků a zadruhé předpovědět slova vyvolávající zjištěné emoce v binárním a číselném formátu. Námi navrhovaný přístup je založený na trénování kvantizovaných velkých jazykových modelů, konkrétně Orca 2, s adaptéry (LoRA) a vícejazyčných model; založených na architektuře Transformer, jako jsou XLM-R a mT5. Výkonnost zvyšujeme strojovým překladem pro obě dílčí úlohy a mícháním slov vyvolávající emoce pro druhou dílčí úlohu. Systém dosahuje vynikajících výkonů, přičemž se umístil na 1. místě v číselné detekci slov vyvolávající emoce, na 3. místě v binární detekci slov vyvolávající emoce a na 7. místě v detekci emocí.