Large Language Models for Czech Aspect-Based Sentiment Analysis

Abstract

Aspect-based sentiment analysis (ABSA) is a fine-grained sentiment analysis task that aims to identify sentiment toward specific aspects of an entity. While large language models (LLMs) have shown strong performance in various natural language processing (NLP) tasks, their capabilities for Czech ABSA remain largely unexplored. In this work, we conduct a comprehensive evaluation of 19 LLMs of varying sizes and architectures on Czech ABSA, comparing their performance in zero-shot, few-shot, and fine-tuning scenarios. Our results show that small domain-specific models fine-tuned for ABSA outperform general purpose LLMs in zero-shot and few-shot settings, while fine-tuned LLMs achieve state-of-the-art results. We analyze how factors such as multilingualism, model size, and recency influence performance and present an error analysis highlighting key challenges, particularly in aspect term prediction. Our findings provide insights into the suitability of LLMs for Czech ABSA and offer guidance for future research in this area.

Aspektově orientovaná analýza sentimentu (ABSA) je detailní analýza sentimentu, jejímž cílem je identifikovat sentiment vůči konkrétním aspektům dané entity. Přestože velké jazykové modely (LLMs) vykazují silný výkon v různých úlohách zpracování přirozeného jazyka (NLP), jejich schopnosti v oblasti české ABSA zůstávají dosud málo prozkoumány. V této práci provádíme komplexní hodnocení 19 LLMs různých velikostí a architektur na české ABSA a porovnáváme jejich výkon v režimech zero-shot, few-shot a při trénování (fine-tuning). Naše výsledky ukazují, že malé doménově specifické modely natrénované pro ABSA překonávají obecné LLMs v režimech zero-shot a few-shot, zatímco doladěné LLMs dosahují nejmodernějších výsledků (state-of-the-art). Analyzujeme, jak faktory jako vícejazyčnost, velikost modelu a aktuálnost dat ovlivňují výkon, a prezentujeme analýzu chyb, která poukazuje na klíčové výzvy, zejména při predikci aspektových termínů. Naše zjištění poskytují poznatky o vhodnosti LLMs pro českou ABSA a nabízejí doporučení pro budoucí výzkum v této oblasti.