Using process mining to analyze students' quiz-taking behavior patterns in a learning management system

Abstract

The aim of this paper is to explore students’ behavior and interaction patterns in different types of online quiz-based activities within learning management systems (LMS). Analyzing students’ behavior in online learning activities and detecting specific patterns of interaction in LMS is a topic of great interest for the educational data mining (EDM) and learning analytics (LA) research communities. Previous studies have focused primarily on frequency analysis without addressing the temporal aspects of students’ learning behavior. Therefore, we apply a process-oriented approach, investigating perspectives on using process mining methods in the context of online learning and assessment. To explore a broad range of possible student behavior patterns, we analyze students’ interactions in several online quizzes from different courses and with different settings. Using process mining methods, we identify specific types of interaction sequences that shed new light on students’ quiz-taking strategies in LMS. We believe that these findings bring important implications for researchers studying student behavior in online environments as well as practitioners using online quizzes for learning and assessment.

Cílem článku je prozkoumat chování a způsoby interakce studentů v různých typech on-line testových aktivit v rámci systému pro řízení výuky (LMS). Problematika analyzování chování studentů v on-line učebních aktivitách a detekování specifických forem interakcí v rámci LMS je intenzivně řešena v rámci výzkumných oblastí označovaných jako dolování dat ve vzdělávání (educational data mining) a analytika učení (learning analytics). Dosavadní studie se však zaměřovaly především na frekvenční analýzy, aniž by se podrobněji zabývaly časovým aspektem chování studentů v průběhu plnění testových aktivit. Z toho důvodu v tomto článku zaujímáme procesně orientovaný přístup a zaměřujeme se na možnosti využití metod dolování procesních dat (process mining) v kontextu on-line učení a hodnocení studijních výsledků. Za účelem prozkoumání široké škály možných vzorců chování analyzujeme interakci studentů v několika on-line testech, které pocházejí z různých kurzů a jsou používány pro různé účely. S využitím metod dolování procesních dat pak identifikujeme specifické typy interakčních sekvencí, které vrhají nové světlo na strategie studentů při vyplňování testů v LMS. Domníváme se, že tato zjištění mají zásadní význam pro výzkumníky, kteří studují chování studentů v on-line prostředí, jakož i pro vzdělavatele v praxi, kteří využívají on-line testy pro účely učení a hodnocení studentů.