Activity-Based Detection of (Anti-)Patterns: An Embedded Case Study of the Fire Drill

Abstract

Background: Nowadays, expensive, error-prone, expert-based evaluations are needed to identify and assess software process anti-patterns. Process artifacts cannot be automatically used to quantitatively analyze and train prediction models without exact ground truth. Aim: Develop a replicable methodology for organizational learning from process (anti-)patterns, demonstrating the mining of reliable ground truth and exploitation of process artifacts. Method: We conduct an embedded case study to find manifestations of the Fire Drill anti-pattern in n = 15 projects. To ensure quality, three human experts agree. Their evaluation and the process’ artifacts are utilized to establish a quantitative understanding and train a prediction model. Results: Qualitative review shows many project issues. (i) Expert assessments consistently provide credible ground truth. (ii) Fire Drill phenomenological descriptions match project activity time (for example, development). (iii) Regression models trained on ≈ 12–25 examples are sufficiently stable. Conclusion: The approach is data source-independent (source code or issue-tracking). It allows leveraging process artifacts for establishing additional phenomenon knowledge and training robust predictive models. The results indicate the aptness of the methodology for the identification of the Fire Drill and similar anti-pattern instances modeled using activities. Such identification could be used in post mortem process analysis supporting organizational learning for improving processes.

Pozadí: V současnosti jsou k detekci a posouzení anti-vzorů v softwarových procesech zapotřebí hodnocení expertů, jež jsou drahá a náchylná k chybovosti. Procesní artefakty nemohou být automaticky použity pro kvantitativní analýzu a trénování prediktivních modelů bez přesné ground truth. Cíl: Vyvinout opakovatelnou metodiku pro organizační učení z procesních anti-vzorů demonstrující dolování spolehlivé ground truth a průzkum procesních artefaktů. Metoda: Provádíme embedded případovou studii k nalezení projevů anti-vzoru Fire Drill v n = 15 projektech. K zajištění kvality tři experti dospěli ke shodě. Jejich hodnocení a procesní artefakty jsou použity k ustanovení kvantitativního porozumění a trénování prediktivního modelu. Výsledky: Kvalitativní review ukazuje mnoho problémů v projektech. (i) Expertní posudky konzistentně poskytují důvěryhodnou ground truth. (ii) Popisy Fire Drill jako fenoménu souhlasí s časy projektových aktivit (např. vývoj). (iii) Regresní modely trénované na ≈ 12–25 příkladech jsou dostatečně stabilní. Závěr: Zvolený přístup je nezávislý na zdroji dat (zdrojový kód nebo issue-tracking). Dovoluje využití procesních artefaktů pro ustanovení dodatečné znalosti o fenoménu a pro trénování robustních prediktivních modelů. Výsledky naznačují vhodnost metodiky pro identifikaci Fire Drill a podobných anti-vzorů modelovaných použitím aktivit. Takováto identifikace by mohla být použita v post-mortem procesních analýzách podporujících organizační učení pro vylepšení procesů.