Transfer Learning for Czech Historical Named Entity Recognition

Abstract

V dnešní době dosáhlo rozpoznávání pojmenovaných entit (NER) vynikajících výsledků na standardních korpusech. Objevují se však velké problémy při jejich použití ve specifické doméně, protože rozpoznávání vyžaduje vhodný anotovaný korpus. To je patrné zejména v oblasti zpracování historických dokumentů. Hlavním cílem tohoto příspěvku je navrhnout a srovnat několik metod přenosu učení (transfer learning) ke zvýšení skóre českého historického NER. Studujeme několik informačních zdrojů a pro rozpoznávání používáme dvě neuronové sítě. Pro vyhodnocení metod využíváme dva korpusy: českých pojmenovaných entit a českých historických pojmenovaných entit. Ukazujeme, že BERT reprezentace s doladěním a jednoduchým klasifikátorem natrénovaným na spojených korpusech dosahuje vynikajících výsledků.