Identity Extraction from Clusters of Multi-modal Observations

Abstract

V tomto článku představujeme metodu extrakce identity z televizních zpravodajských vysílání. Identitu definujeme jako soubor multimodálních pozorování. V našem případě je to tvář osoby a jméno osoby. Metoda je založena na aglomeračním seskupování pozorování. Výsledné shluky představují individuální identity, které se objevily ve vysílání. Pro vyhodnocení přesnosti našeho systému jsme ručně označili televizní zpravodajství v hodnotě přibližně jednoho roku. Výsledkem bylo celkem 10301 multimodálních pozorování a 2563 jedinečných identit. Naše metoda dosáhla míry pokrytí 90,69% a míry přesnosti 94,69%. Vzhledem k jednoduchosti navrhovaného algoritmu jsou tyto výsledky velmi uspokojivé. Navržený systém je navíc modulární a tak lze snadno přidat nové modality.