Application of lemmatization and summarization methods in topic identification module for large scale language modeling data filtering

Show simple item record
dc.contributor.authorSkorkovská, Lucie
dc.date.accessioned2015-12-14T07:55:32Z
dc.date.available2015-12-14T07:55:32Z
dc.date.issued2012
dc.description.abstractPříspěvek prezentuje pokusy s modulem identifikace tématu, který je součástí komplexního systému pro získávání a ukládání velkých objemů textových dat. Modul identifikace tématu zpracovává získaná data a přiřadí jim téma z definované hierarchie témat . Hierarchie témat je poměrně rozsáhlá - obsahuje asi 450 témat a kategorií témat. Může se snadno stát, že pro některé úzce zaměřené téma není dostatek dat pro trénování identifikace tématu. Bylo ukázáno, že lemmatizace zlepšuje výsledky při práci s řídkými daty v oblasti vyhledávání informací. Proto je v článku studován vliv lemmatizace na výsledky identifikace tématu. Na druhé straně, protože se systém používá pro zpracování velkého množství dat, byla implementována metoda sumarizace a vliv použití pouze shrnutí článku na přesnost identifikace tématu je studován.cs
dc.description.abstract-translatedThe paper presents experiments with the topic identification module which is a part of a complex system for acquisition and storing large volumes of text data. The topic identification module processes each acquired data item and assigns it topics from a defined topic hierarchy. The topic hierarchy is quite extensive – it contains about 450 topics and topic categories. It can easily happen that for some narrowly focused topic there is not enough data for the topic identification training. Lemmatization is shown to improve the results when dealing with sparse data in the area of information retrieval, therefore the effects of lemmatization on topic identification results is studied in the paper. On the other hand, since the system is used for processing large amounts of data, a summarization method was implemented and the effect of using only the summary of an article on the topic identification accuracy is studied.en
dc.format8 s.cs
dc.format.mimetypeapplication/pdf
dc.identifier.citationSKORKOVSKÁ, Lucie. Application of lemmatization and summarization methods in topic identification module for large scale language modeling data filtering. In: Text, speech and dialogue. Berlin: Springer, 2012, p. 191-198. (Lecture notes in computer science; 7499). ISBN 978-3-642-32789-6.en
dc.identifier.doi10.1007/978-3-642-32790-2_23
dc.identifier.isbn978-3-642-32789-6
dc.identifier.urihttp://www.kky.zcu.cz/cs/publications/SkorkovskaL_2012_Applicationof
dc.identifier.urihttp://hdl.handle.net/11025/16983
dc.language.isoenen
dc.publisherSpringeren
dc.rights© Lucie Skorkovskács
dc.rights.accessopenAccessen
dc.subjectidentifikace tématucs
dc.subjectlemmatizacecs
dc.subjectsumarizacecs
dc.subjectjazykové modelovánícs
dc.subject.translatedtopic identificationen
dc.subject.translatedlemmatizationen
dc.subject.translatedsummarizationen
dc.subject.translatedlanguage modellingen
dc.titleApplication of lemmatization and summarization methods in topic identification module for large scale language modeling data filteringen
dc.title.alternativePoužití lemmatizačních a summarizačních metod v modulu identifikace tématu pro filtraci rozsáhlých dat pro jazykové modelovánícs
dc.typečlánekcs
dc.typearticleen
dc.type.statusPeer-revieweden
dc.type.versionpublishedVersionen

Files

Original bundle
Showing 1 - 1 out of 1 results
No Thumbnail Available
Name:
SkorkovskaL_2012_Applicationof.pdf
Size:
171.08 KB
Format:
Adobe Portable Document Format
Description:
Plný text
Download
License bundle
Showing 1 - 1 out of 1 results
No Thumbnail Available
Name:
license.txt
Size:
1.71 KB
Format:
Item-specific license agreed upon to submission
Description:
Download

Collections

Articles (NTIS)