Czech medical coding assistant based on transformer networks

Abstract

Clinical coding of medical reports is currently carried out manually by a so-called clinical coder. However, due to the human factor, this process is error-prone and expensive. The coder needs to be properly trained and spends significant effort on each report, leading to occasional mistakes. The main goal of this paper is to propose and implement a system that serves as an assistant to the coder and automatically predicts diagnosis codes. These predictions are then presented to the coder for approval or correction, aiming to enhance efficiency and accuracy. The main contribution lies in the proposal and evaluation of ICD classification models for the Czech language with relatively few training parameters, allowing swift utilisation on the prevalent computer systems within Czech hospitals and enabling easy retraining or fine-tuning with newly available data. First, we introduce a small transformer-based model for each task followed by the design of a transformer-based “Four-headed” model incorporating four distinct classification heads. This model achieves comparable, sometimes even better results, against four individual models. Moreover this novel model significantly economises memory usage and learning time. We also show that our models achieve comparable results against state-of-the-art English models on the Mimic IV dataset even though our models are significantly smaller.

Klinické kódování zdravotnické dokumentace je v současné době prováděno manuálně speciálně proškolenými klinickými kodéry. Kvůli lidskému faktoru je tento proces drahý a také náchylný k chybám. Kodér stráví významné množství času zpracováním každé zprávy, což může vést k chybám. Hlavním cílem tohoto článku je návrh a implementace systému pro automatické kódování diagnóz, který bude sloužit jako asistent kodéra. Predikce asistenta budou prezentovány kodérovi, který je buď přijme nebo upraví. Asistent by měl urychlit a zároveň i zpřesnit proces kódování. Hlavní přínos spočívá v návrhu a vyhodnocení modelů pro klasifikaci diagnóz v češtině podle MKN. Soustřeďujeme se na modely s relativně menším počtem parametrů, což by mělo umožnit nasazení na hardwaru běžně užívaném v českých nemocnicích a také rychlé přetrénování nebo dotrénování modelů s nově dostupnými daty. Nejprve je představen model založený na architektuře transformer a natrénovaný pro každou ze čtyř řešených klasifikačních úloh. Následuje tzv. čtyřhlavý model, který je trénován pro všechny úlohy zároveň. Tento model dosahuje srovnatelných nebo i lepších výsledků než čtyři samostatně použité modely. Použití jednoho modelu snižuje výpočetní čas potřebný pro trénování a nároky na hardware, kde bude model nasazen. V práci je rovněž provedeno vyhodnocení na anglické databázi MIMIC IV a je ukázáno, že použité modely dosahují podobných výsledků jako modely aktuálně používané pro klasifikaci diagnóz v angličtině.