LLaMA-Based Models for Aspect-Based Sentiment Analysis

Abstract

While large language models (LLMs) show promise for various tasks, their performance in compound aspect-based sentiment analysis (ABSA) tasks lags behind fine-tuned models. However, the potential of LLMs fine-tuned for ABSA remains unexplored. This paper examines the capabilities of open-source LLMs fine-tuned for ABSA, focusing on LLaMA-based models. We evaluate the performance across four tasks and eight English datasets, finding that the fine-tuned Orca 2 model surpasses state-of-the-art results in all tasks. However, all models struggle in zero-shot and few-shot scenarios compared to fully fine-tuned ones. Additionally, we conduct error analysis to identify challenges faced by fine-tuned models.

Zatímco velké jazykové modely (LLMs) jsou slibné pro různé úlohy, jejich výkonnost v úlohách aspektově orientované analýzy sentimentu (ABSA) zaostává za modely trénovanými pro tuto úlohu. Potenciál trénovaných LLMs pro ABSA však zůstává neprozkoumaný. Tento článek zkoumá možnosti otevřených LLMs natrénovaných pro ABSA se zaměřením na modely založenými na LLaMA. Vyhodnocujeme výkonnost ve čtyřech úlohách a osmi anglických datových sadách a zjišťujeme, že natrénovaný model Orca 2ve všech úlohách překonává nejmodernější výsledky. Všechny modely však mají problémy ve scénářích s nulovým počtem vzorků a s několika málo vzorky ve srovnání s plně natrénovanými modely. Kromě toho provádíme analýzu chyb, abychom zjistili problémy, kterým natrénované modely čelí.