Experimenty s metodami Active Learning na rozsáhlých datasetech přirozeného jazyka

Abstract

Aktivní učení je přístup k trénování modelů umělé inteligence v rámci učení s učite- lem. Motivací k jeho zavedení je šetření času a finančních prostředků při pořizování anotací trénovacích dat, jež jsou v mnoha úlohách strojového učení potřebné. Jeho paradigma je jednoduché: předpoklady jsou datová sada s několika málo označenými daty, model a anotátor. Následně do splnění vhodně zvolené ukončovací podmínky probíhá následující cyklus - naučit model na označené podmnožině, vybrat několik neoznačených vzorků a dotázat se anotátora na označení vybraných vzorků. Kri- tickou částí systému je pak výběr vzorků. Při použití vhodné strategie je možné vybrat takové prvky, jejichž naučením se model zlepší nejvíce. Právě tyto strategie jsou hlavním předmětem výzkumu aktivního učení. Tato práce nabízí průzkum již existujících strategií a poskytuje hodnocení přínosu některých strategií a aktivního učení jako celku z výsledků navržených experimentů.

Description

Subject(s)

aktivní učení, zpracování přirozeného jazyka, umělá inteligence, strojové učení, neuronové sítě, transformery, huggingface, metacentrum, pytorch, modal, small-text, weights and biases

Citation

OPEN License Selector