Application of LSTM neural networks in language modelling

Show simple item record
dc.contributor.authorSoutner, Daniel
dc.contributor.authorMüller, Luděk
dc.date.accessioned2015-12-14T07:23:22Z
dc.date.available2015-12-14T07:23:22Z
dc.date.issued2013
dc.description.abstractUmělé neuronové sítě se staly standardem v úloze jazykového modelování na malém korpusu. Zatímco dopředné sítě jsou schopné uvažovat pouze konstantní počet slov historii pro předpovídání slova následujícího, rekurentní neuronové sítě (RNN) mohou využít celé historie. Kvůli problémům s trénováním RNN je možné jnako jednu z cest použít LSTM sítě. V této práci ukazujeme aplikaci LSTM sítí s rozšířeními na úloze českých spontánních hovorů. Experimenty ukazujíviditalné zlepčení jak na perplexita tak na chybovosti výsledného rozpoznání.cs
dc.description.abstract-translatedArtificial neural networks have become state-of-the-art in the task of language modelling on a small corpora. While feed-forward networks are able to take into account only a fixed context length to predict the next word, recurrent neural networks (RNN) can take advantage of all previous words. Due the difficulties in training of RNN, the way could be in using Long Short Term Memory (LSTM) neural network architecture. In this work, we show an application of LSTM network with extensions on a language modelling task with Czech spontaneous phone calls. Experiments show considerable improvements in perplexity and WER on recognition system over n-gram baseline.en
dc.format8 s.cs
dc.format.mimetypeapplication/pdf
dc.identifier.citationSOUTNER, Daniel; MÜLLER, Luděk. Application of LSTM neural networks in language modelling. In: International conference on image analysis and recognition. Berlin: Springer, 2013, p. 105-112. (Lecture notes in computer science; 8082). ISBN 978-3-642-40584-6.en
dc.identifier.doi10.1007/978-3-642-40585-3_14
dc.identifier.isbn978-3-642-40584-6
dc.identifier.urihttp://www.kky.zcu.cz/cs/publications/SoutnerD_2013_ApplicationofLSTM
dc.identifier.urihttp://hdl.handle.net/11025/16981
dc.language.isoenen
dc.publisherSpringeren
dc.relation.ispartofseriesLecture notes in computer science; 8082en
dc.rights© Daniel Soutner - Luděk Müllercs
dc.rights.accessopenAccessen
dc.subjectjazykové modelovánícs
dc.subjectrekurentní neuronové sítěcs
dc.subjectLSTM neuronová síťcs
dc.subject.translatedlanguage modellingen
dc.subject.translatedrecurrent neural networksen
dc.subject.translatedLSTM neural networksen
dc.titleApplication of LSTM neural networks in language modellingen
dc.title.alternativeAplikace LSTM neuronových sítí v jazykovém modelovánícs
dc.typečlánekcs
dc.typearticleen
dc.type.statusPeer-revieweden
dc.type.versionpublishedVersionen

Files

Original bundle
Showing 1 - 1 out of 1 results
No Thumbnail Available
Name:
SoutnerD_2013_ApplicationofLSTM.pdf
Size:
233.91 KB
Format:
Adobe Portable Document Format
Description:
Plný text
Download
License bundle
Showing 1 - 1 out of 1 results
No Thumbnail Available
Name:
license.txt
Size:
1.71 KB
Format:
Item-specific license agreed upon to submission
Description:
Download

Collections

Articles (KKY)