Is it Possible to Re-educate RoBERTa? Expert-driven Machine Learning for Punctuation Correction.

Abstract

Although Czech rule-based tools for automatic punctuation insertion rely on extensive grammar and achieve respectable precision, the pre-trained Transformers outperform rule-based systems in precision and recall (Machura et al. 2022). The Czech pre-trained RoBERTa model achieves excellent results, yet a certain level of phenomena is ignored, and the model partially makes errors. This paper aims to investigate whether it ispossible to retrain the RoBERTa language model to increase the number of sentence commas the model correctly detects. We have chosen a very specific and narrow type of sentence comma, namely the sentence comma delimiting vocative phrases, which is clearly defined in the grammar and is very often omitted by writers. The chosen approaches were further tested and evaluated on different types of texts.

Přestože české nástroje pro automatické vkládání interpunkce založené na pravidlech se opírají o rozsáhlou gramatiku a dosahují úctyhodné přesnosti, předtrénované transformátory překonávají systémy založené na pravidlech v přesnosti a odvolání (Machura et al. 2022). Český předtrénovaný model RoBERTa dosahuje výborných výsledků, přesto je určitá úroveň jevů ignorována a model se částečně dopouští chyb. Cílem tohoto článku je prozkoumat, zda je možné přetrénovat jazykový model RoBERTa tak, aby se zvýšil počet vět s čárkami, které model správně detekuje. Vybrali jsme si velmi specifický a úzký typ čárky ve větě, a to čárku ve větě ohraničující vokativní fráze, která je v gramatice jasně definována a je pisateli velmi často opomíjena. Zvolené přístupy jsme dále testovali a vyhodnocovali na různých typech textů.