The System for Efficient Indexing and Search in the Large Archives of Scanned Historical Documents

Abstract

The paper introduces software capable of indexing and searching large archives of scanned historical documents. The system capabilities are demonstrated on the collection containing documents from the archives of the post-Soviet security services. The backend of the system was designed with a focus on flexibility (it is actually already being used for other related tasks) and scalability to larger volumes of data. The graphical user interface design has been consulted with historians interested in using the archived documents and was developed in several iterations, gradually including the changes induced both by the user’s requests and by our improving knowledge about the nature of the processed data.

Představujeme software schopný indexovat a vyhledávat velké archivy naskenovaných historických dokumentů. Schopnosti systému jsou demonstrovány na sbírce obsahující dokumenty z archivů postsovětských bezpečnostních služeb. Backend systému byl navržen s důrazem na flexibilitu (v současnosti je již používán i pro jiné související úkoly) a škálovatelnost pro zpracování většího objemu dat. Design grafického uživatelského rozhraní byl konzultován s historiky, kteří mají zájem o využití archivovaných dokumentů, a byl vyvíjen postupně v několika iteracích, zahrnující změny, které byly způsobeny jak požadavky uživatelů, tak naším stále se zlepšujícím poznáním o povaze zpracovávaných dat.