Weak supervision for Question Type Detection with large language models
| dc.contributor.author | Martínek, Jiří | |
| dc.contributor.author | Cerisara, Christophe | |
| dc.contributor.author | Král, Pavel | |
| dc.contributor.author | Lenc, Ladislav | |
| dc.contributor.author | Baloun, Josef | |
| dc.date.accessioned | 2024-01-15T11:00:14Z | |
| dc.date.available | 2024-01-15T11:00:14Z | |
| dc.date.issued | 2022 | |
| dc.description.abstract | Velké předtrénované jazykové modely prokázaly pozoruhodné výkony v tzv. Zero-Shot Learning v mnoha úlohách zpracování přirozeného jazyka. Nicméně navrhování účinných vstupů (tzv. prompts) je stále velmi obtížné pro některé úkoly, zejména pro rozpoznávání dialogových aktů. Proto navrhujeme alternativní způsob, jak využít předtrénovaný model pro takové úkoly s využitím jednoduchých pravidel, která jsou intuitivnější a snáze se navrhují. Tento přístup demonstrujeme na úloze automatické detekce otázek a ukazujeme, že náš model dobře funguje v porovnání s modelem LSTM, který je natrénován na trénovací části datasetu MRDA. Dále analyzujeme limity navrhovaného přístupu, které nelze jednoduše aplikovat na zcella libovolnou úlohu, ale může být prospěšný jako doplněk pro přidání specifických tříd. | cs |
| dc.description.abstract-translated | Large pre-trained language models (LLM) have shown remarkable Zero-Shot Learning performances in many Natural Language Processing tasks. However, designing effective prompts is still very difficult for some tasks, in particular for dialogue act recognition. We propose an alternative way to leverage pretrained LLM for such tasks that replace manual prompts with simple rules, which are more intuitive and easier to design for some tasks. We demonstrate this approach on the question type recognition task, and show that our zero-shot model obtains competitive performances both with a supervised LSTM trained on the full training corpus, and another supervised model from previously published works on the MRDA corpus. We further analyze the limits of the proposed approach, which can not be applied on any task, but may advantageously complement prompt programming for specific classes. | en |
| dc.format | ||
| dc.format | 5 s. | cs |
| dc.format.mimetype | application/pdf | |
| dc.identifier.citation | MARTÍNEK, J.; CERISARA, C.; KRÁL, P.; LENC, L.; BALOUN, J. Weak supervision for Question Type Detection with large language models. In: 23rd Annual Conference of the International Speech Communication, Interspeech 2022. Baixas: International Speech Communication Association (ISCA), 2022, s. 3283-3287. ISBN neuvedeno, ISSN 2308-457X. | cs |
| dc.identifier.document-number | 900724503090 | |
| dc.identifier.doi | 10.21437/Interspeech.2022-345 | |
| dc.identifier.issn | 2308-457X | |
| dc.identifier.obd | 43938256 | |
| dc.identifier.uri | 2-s2.0-85140091729 | |
| dc.identifier.uri | http://hdl.handle.net/11025/55071 | |
| dc.language.iso | ||
| dc.language.iso | en | en |
| dc.project.ID | SGS-2022-016/Pokročilé metody zpracování a analýzy dat | cs |
| dc.publisher | International Speech Communication Association (ISCA) | en |
| dc.relation.ispartofseries | 23rd Annual Conference of the International Speech Communication, Interspeech 2022 | en |
| dc.rights | Plný text je přístupný v rámci univerzity přihlášeným uživatelům | cs |
| dc.rights | © ISCA | en |
| dc.rights.access | restrictedAccess | en |
| dc.subject | detekce typů otázek | cs |
| dc.subject | zero-shot | cs |
| dc.subject | dialogue acts | cs |
| dc.subject | BART | cs |
| dc.subject.translated | question types classification | en |
| dc.subject.translated | zero-shot | en |
| dc.subject.translated | dialogue acts | en |
| dc.subject.translated | BART | en |
| dc.title | Weak supervision for Question Type Detection with large language models | en |
| dc.title.alternative | Detekce typů otázek s velkými jazykovými modely pomocí weak supervision | cs |
| dc.type | konferenční příspěvek | cs |
| dc.type | ConferenceObject | en |
| dc.type.status | ||
| dc.type.status | Peer-reviewed | en |
| dc.type.version | publishedVersion | en |