Prompt-Based Approach for Czech Sentiment Analysis

Abstract

This paper introduces the first prompt-based methods for aspect-based sentiment analysis and sentiment classification in Czech. We employ the sequence-to-sequence models to solve the aspect-based tasks simultaneously and demonstrate the superiority of our prompt-based approach over traditional fine-tuning. In addition, we conduct zero-shot and few-shot learning experiments for sentiment classification and show that prompting yields significantly better results with limited training examples compared to traditional fine-tuning. We also demonstrate that pre-training on data from the target domain can lead to significant improvements in a zero-shot scenario.

Tento článek prezentuje první metody založené na metodách pro analýzu a klasifikaci sentimentu v češtině. Využíváme sequence-to-sequence modely pro současné postupy pro řešení aspěktově orientované analýzy sentimentu a ukazujeme vhodnost našeho prompt-based přístupu oproti tradičním metodám. Kromě toho provádíme experimenty s učením s nulovým počtem příkladů (tzv. zero-shot) a ukazujeme, že prompting přináší výrazně lepší výsledky s omezeným počtem trénovacích příkladů ve srovnání s tradičním trénováním. Ukazujeme také, že předtrénování na datech z cílové domény může vést k významnému zlepšení.