Process anti-pattern detection – a case study

Abstract

Anti-patterns are harmful phenomena repeatedly occurring, e.g., in software development projects. Though widely recognized and well-known, their descriptions are traditionally not fit for automated detection. The detection is usually performed by manual audits, or on business process models. Both options are time-, effort- and expertise-heavy, prone to biases, and/or omissions. Meanwhile, collaborative software projects produce much data as a natural side product, capturing their status and day-to-day history. Long-term, our research aims at deriving models for the automated detection of process and project management anti-patterns, applicable to project data. Here, we present a general approach for studies investigating occurrences of these types of anti-patterns in projects and discuss the entire process of such studies in detail, startingfrom the anti-pattern descriptions in literature. We demonstrate and verify our approach with the Fire Drill anti-pattern detection as a case study, applying it to data from 15 student projects. The results of our study suggest that reliable detection of at least some process and project management anti-patterns in project data is possible, with 13 projects assessed accurately for Fire Drill presence by our automated detection when compared to the ground truth gathered from independent data. The overall approach can be similarly applied to detecting patterns and other phenomena with manifestations in Application Lifecycle Management data.

Anti-vzory jsou škodlivé jevy objevující se opakovaně mimo jiné v projektech vývoje software. Ačkoli jsou široce známé, jejich definice tradičně nejsou ve formátu vhodném pro automatickou detekci. Detekce je obvykle prováděna formou manuálních auditů nebo na modelech byznys procesů. Obě možnosti jsou náročné na čas, úsilí a expertízu, náchylné k zavádějícím předsudkům a/nebo přehlédnutím. Zároveň kolaborativní softwarové projekty generují jako přirozený vedlejší produkt množství dat zachycujících stav a historii projektů. Dlouhodobě je cílem našeho výzkumu odvozování modelů pro automatickou detekci anti-vzorů projektového řízení a procesů aplikovatelných na projektová data. V tomto článku předkládáme obecný postup pro studie zkoumající výskyty těchto typů anti-vzorů v projektech a detailně diskutujeme celý postup takových studií počínaje popisy anti-vzorů v literatuře. Náš přístup demonstrujeme a ověřujeme na případové studii detekce anti-vzoru Fire Drill v 15 studentských projektech. Výsledky studie naznačují, že spolehlivá detekce alespoň některých anti-vzorů v procesech a projektovém řízení v datech projektů je možná, a to tím, že u 13 projektů byla naší automatickou detekcí správně zhodnocena přítomnost Fire Drill při porovnání jejích výsledků s nezávislou manuální detekcí skupinou odborníků. Celý postup může být analogicky použit i pro detekci vzorů a jiných jevů s projevy v projektových datech.