Czech Dataset for Complex Aspect-Based Sentiment Analysis Tasks

Abstract

In this paper, we introduce a novel Czech dataset for aspect-based sentiment analysis (ABSA), which consists of 3.1K manually annotated reviews from the restaurant domain. The dataset is built upon the older Czech dataset, which contained only separate labels for the basic ABSA tasks such as aspect term extraction or aspect polarity detection. Unlike its predecessor, our new dataset is specifically designed to allow its usage for more complex tasks, e.g. target-aspect-category detection. These advanced tasks require a unified annotation format, seamlessly linking sentiment elements (labels) together. Our dataset follows the format of the well-known SemEval-2016 datasets. This design choice allows effortless application and evaluation in cross-lingual scenarios, ultimately fostering cross-language comparisons with equivalent counterpart datasets in other languages. The annotation process engaged two trained annotators, yielding an impressive inter-annotator agreement rate of approximately 90%. Additionally, we provide 24M reviews without annotations suitable for unsupervised learning. We present robust monolingual baseline results achieved with various Transformer-based models and insightful error analysis to supplement our contributions. Our code and dataset are freely available for non-commercial research purposes.

V tomto článku představujeme nový český dataset pro aspektově orientovanou analýzu sentimentu (ABSA), který se skládá z 3,1 tisíce ručně anotovaných recenzí z oblasti restaurací. Dataset je postaven na starším českém datasetu, který obsahoval pouze samostatné značky pro základní úlohy ABSA, jako je extrakce aspektových termů nebo detekce aspektové polarity. Na rozdíl od svého předchůdce je náš nový dataset speciálně navržen tak, aby umožnil jeho využití pro složitější úlohy, např. detekci aspektových termů, kategorií a polarity najednou. Tyto pokročilé úlohy vyžadují jednotný anotační formát, který hladce propojuje prvky (štítky) sentimentu. Náš dataset se řídí formátem známých datasetů SemEval-2016. Tato konstrukční volba umožňuje bezproblémové použití a vyhodnocení v mezijazyčných scénářích a v konečném důsledku podporuje mezijazyčné srovnání s ekvivalentními protějškovými datovými sadami v jiných jazycích. Do procesu anotace byli zapojeni dva vyškolení anotátoři, což přineslo působivou míru shody mezi anotátory ve výši přibližně 90 %. Kromě toho poskytujeme 24 milionů recenzí bez anotací vhodných pro učení bez učitele. Předkládáme robustní jednojazyčné základní výsledky dosažené s různými modely založenými na architektuře Transformer a podrobnou analýzu chyb, která doplňuje naše přínosy. Náš kód a soubor dat jsou volně k dispozici pro nekomerční výzkumné účely.