Large Language Models for Summarizing Czech Historical Documents and Beyond

Abstract

Text summarization is the task of shortening a larger body of text into a concise version while retaining its essential meaning and key information. While summarization has been significantly explored in English and other high-resource languages, Czech text summarization, particularly for historical documents, remains underexplored due to linguistic complexities and a scarcity of annotated datasets. Large language models such as Mistral and mT5 have demonstrated excellent results on many natural language processing tasks and languages. Therefore, we employ these models for Czech summarization, resulting in two key contributions: (1) achieving new state-of-the-art results on the modern Czech summarization dataset SumeCzech using these advanced models, and (2) introducing a novel dataset called Posel od Čerchova for summarization of historical Czech documents with baseline results. Together, these contributions provide a great potential for advancing Czech text summarization and open new avenues for research in Czech historical text processing.

Sumarizace textu je úkol , který spočívá ve zkrácení rozsáhlejšího textu do stručné verze při zachování jeho základního významu a klíčových informací. Zatímco v angličtině a dalších jazycích s velkým množstvím zdrojů byla sumarizace významně prozkoumána, sumarizace českých textů, zejména historických dokumentů, zůstává nedostatečně prozkoumaná kvůli jazykové složitosti a nedostatku anotovaných datových souborů. Velké jazykové modely, jako jsou Mistral a mT5, dosáhly vynikajících výsledků v mnoha úlohách zpracování přirozeného jazyka napříč různými jazyky. Proto tyto modely využíváme pro českou sumarizaci, což přináší dva klíčové příspěvky: (1) dosažení nových špičkových výsledků na moderní české datové sadě pro sumarizaci SumeCzech s využitím těchto pokročilých modelů a (2) představení nové datové sady Posel od Čerchova pro sumarizaci historických českých dokumentů se základními výsledky. Tyto příspěvky mají velký potenciál posunout vpřed oblast sumarizace českých textů a otevírají nové cesty pro výzkum zpracování českých historických dokumentů.