Application of LSTM neural networks in language modelling

Abstract

Umělé neuronové sítě se staly standardem v úloze jazykového modelování na malém korpusu. Zatímco dopředné sítě jsou schopné uvažovat pouze konstantní počet slov historii pro předpovídání slova následujícího, rekurentní neuronové sítě (RNN) mohou využít celé historie. Kvůli problémům s trénováním RNN je možné jnako jednu z cest použít LSTM sítě. V této práci ukazujeme aplikaci LSTM sítí s rozšířeními na úloze českých spontánních hovorů. Experimenty ukazujíviditalné zlepčení jak na perplexita tak na chybovosti výsledného rozpoznání.