Integrating chatbots in education: insights from the Chatbot‑Human Interaction Satisfaction Model (CHISM)

Abstract

Recent advances in Artificial Intelligence (AI) have paved the way for the integration of text-based and voice-enabled chatbots as adaptive virtual tutors in education. Despite the increasing use of AI-powered chatbots in language learning, there is a lack of studies exploring the attitudes and perceptions of teachers and students towards these intelligent tutors. This study aims to compare several linguistic and technological aspects of four App-Integrated Chatbots (AICs) and to examine the perceptions among English as a Foreign Language (EFL) teacher candidates. In this mixedmethods research based on convenience sampling, 237 college students from Spain (n = 155) and the Czech Republic (n = 82) interacted with four AICs over a month, and evaluated them following a rubric based on the Chatbot-Human Interaction Satisfaction Model. This scale was specifically designed to assess different linguistic and technological features of AICs such as response interval, semantic coherence, sentence length, and user interface. Quantitative and qualitative data were gathered through a pre-post-survey, based on the CHISM model and student assessment reports. Quantitative data were analyzed using SPSS statistics software, while qualitative data were examined using QDA Miner software, focusing on identifying recurring themes through frequency analysis. The findings indicated a moderate level of atisfaction with AICs, suggesting that enhancements in areas such as better adapting to learner needs, integrating interactive multimedia, and improving speech technologiesare necessary for a more human-like user interaction.

Nedávné pokroky v oblasti umělé inteligence (AI) otevřely cestu k integracitextových a hlasových chatbotů jako adaptivních virtuálních tutorů ve vzdělávání.Navzdory rostoucímu využívání chatbotů s umělou inteligencí při výuce jazykůchybí studie, které by zkoumaly postoje a vnímání učitelů a studentůvůči těmto inteligentním tutorům. Cílem této studie je porovnat několik jazykových a technologických aspektů čtyř chatbotů integrovaných do aplikací (AIC) a prozkoumat jejich vnímánímezi kandidáty na učitele angličtiny jako cizího jazyka (EFL). V této smíšené metoděvýzkumu založeném na výběrovém šetření se zúčastnilo 237 studentů vysokých škol ze Španělska (n = 155) a České republiky (n = 82), kteří během jednoho měsíce komunikovali se čtyřmi AIC a hodnotili je podle rubriky založené na metodice Chatbot-Human Interaction Satisfaction Model. Tato škála byla speciálně navržena pro hodnocení různých jazykových a technologických vlastností AIC, jako je interval odpovědí, sémantická koherence, délka věty a uživatelské rozhraní. Byly shromážděny kvantitativní a kvalitativní údaje prostřednictvím předběžného a následného průzkumu založeného na modelu CHISM a hodnocení studentů. Kvantitativní údaje byly analyzovány pomocí statistického softwaru SPSS, zatímco kvalitativní data byla zkoumána pomocí softwaru QDA Miner se zaměřením na identifikaci opakujících se témat prostřednictvím frekvenční analýzy. Zjištění ukázala mírnou míru spokojenostis AIC, což naznačuje, že zlepšení v oblastech, jako je lepší přizpůsobení se potřebám studentů, integrace interaktivních multimédií a zlepšení řečových technologií,jsou nezbytné pro interakci s uživatelem, která se více podobá interakci s člověkem.