Are the Multilingual Models Better? Improving Czech Sentiment with Transformers

Abstract

V tomto článku se zaměřujeme na zlepšení českého sentimentu pomocí modelů založených na architektuře Transformer a jejich vícejazyčných verzí. Řešíme úlohu detekce polarity pro češtinu na třech českých datových sadách. Trénujeme a provádíme experimenty s pěti vícejazyčnými a třemi monolinguálními modely. Porovnáváme výkonnost monolinguálních a vícejazyčných modelů, včetně srovnání se starším přístupem založeným na rekurentních neuronových sítích. Dále testujeme vícejazyčné modely a jejich schopnost přenášet znalost z angličtiny do češtiny (a naopak). Naše experimenty ukazují, že obrovské vícejazyčné modely mohou překonat výkonnost monolinguálních modelů. Jsou také schopny detekovat polaritu v jiném jazyce bez trénovacích dat, přičemž jejich výkon není horší než 4,4 % ve srovnání s nejlepšími monolinguálními modely. Navíc jsme dosáhli nových state-of-the-art výsledků na všech třech datových sadách.