Modelování sémantiky a kontextu pro zpracování přirozeného jazyka v čestině

Abstract

Tato práce se zabývá metodami pro zlepšení výkonu neuronových sítí při zpracování přirozeného jazyka se zaměřením na sémantickou reprezentaci, kontextové porozumění a výpočetní efektivitu. Realizuje řadu experimentů zaměřených na optimalizaci trénování i odvozování, včetně využití kvantizačních technik ke snížení nároků na zdroje a umožnění nasazení na mobilních zařízeních a zařízeních s omezenými zdroji.<br>Zásadním přínosem této práce je vývoj a vyhodnocení CZERT, prvního českého modelu založeného na BERT architektuře, který významně posunul možnosti zpracování přirozeného jazyka v češtině a položil základy pro následný výzkum. V návaznosti na něj zkoumáme architekturu BART v úlohách, jako je sumarizace a sémantická podobnost textů. Stručně také představíme navazující výzkum rozšiřující tyto přístupy na detekci multimodální duplicity ve webových diskusích.<br>Abychom dále podpořili výzkum role kontextu v sémantické reprezentaci, vytvořili jsme ve spolupráci s českými novináři rozsáhlou a kvalitní sadu dat sémantických textových podobností. Tato datová sada má usnadnit vývoj kontextově orientovaných modelů a sloužit jako dlouhodobé měřítko pro hodnocení jejich výkonnosti.<br>Nakonec se zabýváme experimentálními aplikacemi v oblasti žurnalistiky, včetně systémů pro sumarizaci událostí a automatizované zpravodajství. Tyto prototypy ukazují potenciál neuronových modelů pro podporu složitých jazykových úloh ve specializovaných profesních prostředích. Celkově tato práce nabízí jak teoretické poznatky, tak praktický pokrok směrem k vývoji efektivních jazykových technologií s ohledem na kontext.