Multi-modální analýza emocí z textových a zvukových dat

Zeman, Matěj

Multi-modální analýza emocí z textových a zvukových dat

dc.contributor.advisor	Lenc Ladislav, Ing. Ph.D.
dc.contributor.author	Zeman, Matěj
dc.contributor.referee	Prantl Martin, Ing. Ph.D.
dc.date.accepted	2024-6-17
dc.date.accessioned	2024-07-12T09:14:32Z
dc.date.available	2023-9-8
dc.date.available	2024-07-12T09:14:32Z
dc.date.issued	2024
dc.date.submitted	2024-5-16
dc.description.abstract	Multimodální klasifikace emocí zahrnuje rozpoznávání emocí z dat, která zahrnují více modalit. Pro rozpoznání emocí se nabízí hned několik modalit. Pohyb obličeje, text, záznam hlasu, nebo videa mluvčího. Tato práce se zaměřuje především na zvukovou a textovou modalitu pro rozpoznávání emocí. Nejprve je provedena extrakce příznaků ze zvukových dat. Následně jsou tyto příznaky použity pro trénování několika modelů pro rozpoznávání emocí ze zvukových dat. Tyto modely jsou založené na umělých neuronových sítích. Modely jsou následně použity pro vytváření příznaků ze zvukových dat. V multimodálních modelech jsou tyto příznaky spojeny s jejich textovými protějšky a použity pro multimodální predikci emocí. Úspěšnost tohoto systému je vyhodnocována na ECF, RAVDESS a IEMOCAP datasetech.	cs
dc.description.abstract-translated	Multimodal emotion recognition involves correctly classifying the emotion from data involving multiple modalities. There are several viable modalities when it comes to emotion recognition. Facial movements, text, voice, and video of the speaker. This thesis focuses on audio and textual modalities for emotion recognition. First, feature extraction from audio data is performed. Subsequently, these features are used for training several audio emotion recognition models, that are based on Artificial Neural Networks. These audio emotion recognition models are then used to create audio feature extraction vectors. In the multimodal deep learning models, these audio feature vectors are combined with their textual counterparts for multimodal emotion recognition. The performance of this system is evaluated on ECF, RAVDESS, and IEMOCAP datasets.	en
dc.description.result	Obhájeno
dc.format	77 s.
dc.identifier	96727
dc.identifier.uri	http://hdl.handle.net/11025/57235
dc.language.iso	en
dc.publisher	Západočeská univerzita v Plzni
dc.rights	Plný text práce je přístupný bez omezení
dc.subject	multi-modální rozpoznání emocí	cs
dc.subject	strojové učení	cs
dc.subject	bert	cs
dc.subject	cnn	cs
dc.subject	python	cs
dc.subject	extrakce příznaků	cs
dc.subject.translated	multimodal emotion recognition	en
dc.subject.translated	machine learning	en
dc.subject.translated	bert	en
dc.subject.translated	cnn	en
dc.subject.translated	python	en
dc.subject.translated	feature extraction	en
dc.thesis.degree-grantor	Západočeská univerzita v Plzni. Fakulta aplikovaných věd
dc.thesis.degree-level	Navazující
dc.thesis.degree-name	Ing.
dc.thesis.degree-program	Inženýrská informatika
dc.title	Multi-modální analýza emocí z textových a zvukových dat	cs
dc.title.alternative	Multi-modal emotion analysis in textual and audio data	en
dc.type	diplomová práce