Czech Dataset for Cross-lingual Subjectivity Classification

Abstract

V tomto článku představujeme nový český dataset pro klasifikaci subjektivity, který obsahuje 10 tisíc manuálně označených subjektivních a objektivních vět z filmových recenzí a popisů filmů. Naší hlavní motivací je poskytnout spolehlivý dataset který může být použit společně s již existujícím anglickým datasetem jako test schopnosti předtrénovaných vícejazyčných modelů pro přenost znalosti mezi češtinou a angličtinou. Dva anotátoři označili dataset a dosáhli 0.83 Cohen Kappa metriky. Dále jsme vytvořili doplňkový dataset který obsahuje 200 tisíc automaticky označených vět. Oba datasety jsou volně k použití pro výzkumné účely. Dále jsme provedli tzv. Fine-tuning pěti předtrénovaných modelů založených na architektuře Transformers pro určení základních výsledků, kde dosahujeme 93.56% úspěšnosti. Dále provádíme experimenty, které mají za cíl ověřit možnosti vícejazyčných modelů pro přenos znalosti mezi jazyky.