Curriculum Learning in Sentiment Analysis

Abstract

Tato práce se zabývá metodou curriculum learning pro učení hlubokých neuronových sítí pro analýzu sentimentu. Navrhli jsme nový přístup pro curriculum learning pro textová data. Seřadili jsme trénovací dataset tak, abychom uvedli jednodušší vzorky dříve. Za jednoduché vzorky jsou předpokládány krátké sekvence. Také jsem experimentovali s měřením frekvence slov, což je technika navržená předcházejícímí výzkumníky. Pokusili jsme se vyhodnotit změny v úspěšnosti obou přístupů. Naše experimenty neprokázali žádný nárůst úspěšnosti. Podařilo se však dosáhnout nového state of the art v analýze sentimentu na českém korpusu.

This work deals with curriculum learning for deep learning models for the sentiment analysis task. We design a new way of curriculum learning for text data. We reorder the training dataset to introduce the simpler examples first. We estimate the difficulty of the examples by measuring the length of the sentences. The simple examples are supposed to be shorter. We also experiment with measuring the frequency of the words, which is a technique designed by earlier researchers. We attempt to evaluate changes in the overall accuracy of the models using both curriculum learning techniques. Our experiments do not show an increase in accuracy for any of the methods. Nevertheless, we reach a new state of the art in the sentiment analysis for Czech as a by-product of our effort