Heimatkunde: Dataset for Multi-Modal Historical Document Analysis

Abstract

This paper introduces a novel Heimatkunde dataset comprising printed documents in German, specifically designedfor evaluating layout analysis methods with a focus on multi-modality. The dataset is openly accessiblefor research purposes. The study further presents baseline results for instance segmentation and multi-modalelement classification. Three advanced models, Mask R-CNN, YOLOv8, and LayoutLMv3, are employed forinstance segmentation, while a fusion-based model integrating BERT and various vision Transformers are proposedfor multi-modal classification. Experimental findings reveal that optimal bounding box segmentation isachieved with YOLOv8 using an input image size of 1280 pixels, and the best segmentation mask is producedby LayoutLMv3 with PubLayNet weights. Moreover, the research demonstrates superior multi-modal classificationresults using BERT for textual and Vision Transformer for image modalities. The study concludesby suggesting the integration of the proposed models into the historical Porta fontium portal to enhance theinformation retrieval from historical data.Tento článek představuje novou datovou sadu Heimatkunde obsahující tištěné dokumenty v němčině, které jsou speciálně navrženypro hodnocení metod analýzy rozložení se zaměřením na multimodalitu. Dataset je volně přístupnýpro výzkumné účely. Studie dále uvádí základní výsledky například segmentace a multimodálníklasifikace prvků. Tři modely, Mask R-CNN, YOLOv8 a LayoutLMv3, se používají prosegmentace instancí, zatímco je navržen model založený na fúzi integrující BERT a různých modelů založených na Vision Transformerupro multimodální klasifikaci. Experimentální výsledky ukazují, že optimální segmentace hraničního boxu jedosaženo pomocí YOLOv8 pomocí vstupní velikosti obrazu 1280 pixelů a je vytvořena nejlepší segmentační maskaod LayoutLMv3 s váhami PubLayNet. Kromě toho, výzkum prokazuje vynikající multimodální klasifikacivýsledky pomocí BERT pro textové a Vision Transformer pro obrazové modality. Studie uzavíránávrhem integrace navrhovaných modelů do historického portálu Porta fontium za účelem vylepšenízískávání informací z historických dat.