Findings of the Third Shared Task on Multilingual Coreference Resolution

Abstract

The paper presents an overview of the third edition of the shared task on multilingual coreference resolution, held as part of the CRAC 2024 workshop. Similarly to the previous two editions, the participants were challenged to develop systems capable of identifying mentions and clustering them based on identity coreference. This year's edition took another step towards real-world application by not providing participants with gold slots for zero anaphora, increasing the task's complexity and realism. In addition, the shared task was expanded to include a more diverse set of languages, with a particular focus on historical languages. The training and evaluation data were drawn from version 1.2 of the multilingual collection of harmonized coreference resources CorefUD, encompassing 21 datasets across 15 languages. 6 systems competed in this shared task.

Článek představuje přehled třetího ročníku otevřené úlohy vícejazyčného hledání koreferencí, která se konala v rámci workshopu CRAC 2024. Stejně jako v předchozích dvou ročnících měli účastníci za úkol vyvinout systémy schopné identifikovat zmínky a shlukovat je na základě entit. Letošní ročník učinil další krok směrem k reálnému použití tím, že účastníkům neposkytl zlaté sloty pro nulovou anaforu, čímž zvýšil složitost a realističnost úlohy. Kromě toho byla úloha rozšířena o další jazyky se zvláštním zaměřením na historické jazyky. Trénovací a evaluační data byla čerpána z verze 1.2 vícejazyčné sbírky harmonizovaných koreferenčních zdrojů CorefUD, která zahrnuje 21 datových sad v 15 jazycích. V této společné úloze soutěžilo 6 systémů.