Advancing Cross-Lingual Aspect-Based Sentiment Analysis with LLMs and Constrained Decoding for Sequence-to-Sequence Models

Abstract

Aspect-based sentiment analysis (ABSA) has made significant strides, yet challenges remain for low-resource languages due to the predominant focus on English. Current cross-lingual ABSA studies often centre on simpler tasks and rely heavily on external translation tools. In this paper, we present a novel sequence-to sequence method for compound ABSA tasks that eliminates the need for such tools. Our approach, which uses constrained decoding, improves cross-lingual ABSA performance by up to 10%. This method broadens the scope of cross-lingual ABSA, enabling it to handle more complex tasks and providing a practical, efficient alternative to translation-dependent techniques. Furthermore, we compare our approach with large language models (LLMs) and show that while fine-tuned multilingual LLMs can achieve comparable results, English centric LLMs struggle with these tasks.

Aspektově orientovaná analýza sentimentu (ABSA) dosáhla významného pokroku, avšak v případě jazyků s nízkými zdroji zůstávají problémy způsobené převažujícím zaměřením na angličtinu. Současné mezijazyčné ABSA studie se často zaměřují na jednodušší úlohy a do značné míry se spoléhají na externí překladatelské nástroje. V tomto článku představujeme novou metodu sekvenčně-sekvenčního překladu pro složené úlohy ABSA, která eliminuje potřebu takových nástrojů. Náš přístup, který využívá omezené dekódování, zlepšuje výkonnost mezijazyčné ABSA až o 10 %. Tato metoda rozšiřuje oblast působnosti mezijazyčné ABSA, umožňuje zvládat složitější úlohy a poskytuje praktickou a účinnou alternativu k technikám závislým na překladu. Dále porovnáváme náš přístup s velkými jazykovými modely (LLMs) a ukazujeme, že zatímco jemně vyladěné vícejazyčné LLMs mohou dosáhnout srovnatelných výsledků, LLMs orientované na angličtinu mají s těmito úlohami problémy.