Efektivní adaptace velkých jazykových modelů na české úlohy

Hejman, Jakub

Efektivní adaptace velkých jazykových modelů na české úlohy

dc.contributor.advisor	Konopík Miloslav, Ing. Ph.D.	cs
dc.contributor.author	Hejman, Jakub	cs
dc.contributor.referee	Šmíd Jakub, Ing.	cs
dc.date.accepted	2025-09-02
dc.date.accessioned	2026-02-20T22:48:57Z
dc.date.available	2024-09-09
dc.date.available	2026-02-20T22:48:57Z
dc.date.issued	2025-06-19
dc.date.submitted	2025-06-19
dc.description.abstract	Tato diplomová práce zkoumá adaptaci velkých jazykových modelů na úlohách zpracování přirozeného jazyka v češtině. Pozornost je věnována praktické použitelnosti velkých jazykových modelů pro vybrané české úlohy a na přístupy k efektivní adaptaci těchto modelů. Zkoumané úlohy zahrnují klasifikaci sentimentu na datasetu filmových recenzí ČSFD, sumarizaci na datasetu SumeCzech a rozpoznávání koreferencí na CorefUD 1.1. Hlavním přístupem je fine-tuning předtrénovaných open-source LLM pomocí text-to-text přístupu. Konkrétně jsou využity modely Mistral-7B, Llama-3 a Gemma 3, za pomocí Parameter-Efficient Fine-Tuning technik Low-Rank Adaptation a přístupů založených na promptingu. Klíčový příspěvek spočívá v demonstraci efektivního trénování na hardware s omezenými zdroji pomocíQuantizedLowRankAdaptation. Experimentální výsledky dosahují nejlepších výsledků na jedné z úloh a slibného výkonu ve všech ostatních úlohách.	cs
dc.description.abstract-translated	This thesis explores the adaptation of Large Language Models to Natural Language Processing tasks in the Czech language. The main focus is on the practical usability of Large Language Models for selected Czech tasks and the approaches for efficient adaptation of these models. The investigated tasks are Sentiment Classification on the ČSFD movie review dataset, Summarization using SumeCzech and Coreference Resolution with CorefUD 1.1. The core methodology involves fine-tuning various open-source LLMs in a text-to-text manner, including Mistral-7B, Llama-3 and Gemma3, using Parameter-Efficient Fine-Tuning techniques, specifically Low-Rank Adaptation and prompting approaches. A key contribution lies in demonstrating effective training on resource-constrained hardware through Quantized Low-Rank Adaptation. Experimental results show state-of-the-art results on one task and promising performance on all other tasks.	en
dc.description.department	Katedra informatiky a výpočetní techniky	cs
dc.description.result	Obhájeno	cs
dc.format	82
dc.identifier	100151
dc.identifier.uri	http://hdl.handle.net/11025/66192
dc.language.iso	en
dc.publisher	Západočeská univerzita v Plzni	cs
dc.rights	Plný text práce je přístupný bez omezení	cs
dc.rights.access	openAccess	cs
dc.subject	Natural Language Processing	cs
dc.subject	Sentiment Classification	cs
dc.subject	Summarization	cs
dc.subject	Coreference Resolution	cs
dc.subject	Deep Learning	cs
dc.subject	Parameter Efficient Fine-Tuning	cs
dc.subject	Prompting	cs
dc.subject	Large Language Models	cs
dc.subject	Transformers	cs
dc.subject	LoRA	cs
dc.subject	QLoRA	cs
dc.subject.translated	Natural Language Processing	en
dc.subject.translated	Sentiment Classification	en
dc.subject.translated	Summarization	en
dc.subject.translated	Coreference Resolution	en
dc.subject.translated	Deep Learning	en
dc.subject.translated	Parameter Efficient Fine-Tuning	en
dc.subject.translated	Prompting	en
dc.subject.translated	Large Language Models	en
dc.subject.translated	Transformers	en
dc.subject.translated	LoRA	en
dc.subject.translated	QLoRA	en
dc.thesis.degree-grantor	Západočeská univerzita v Plzni. Fakulta aplikovaných věd	cs
dc.thesis.degree-level	Navazující	cs
dc.thesis.degree-name	Ing.	cs
dc.thesis.degree-program	Informatika a její specializace	cs
dc.title	Efektivní adaptace velkých jazykových modelů na české úlohy	cs
dc.title.alternative	Effective Adaptation of Large Language Models for Czech Tasks	en
dc.type	diplomová práce	cs
local.files.count	6	*
local.files.size	7698278	*
local.has.files	yes	*
local.relation.IS	https://portal.zcu.cz/StagPortletsJSR168/CleanUrl?urlid=prohlizeni-prace-detail&praceIdno=100151