Open-source Defect Injection Benchmark Testbed for the Evaluation of Testing

Abstract

Běžně používaná metoda pro vyhodnocení efektivity testovací techniky je měřit poměr nalezených defektů při použití hodnocených testovacích případů. Do zdrojového kódu testovaného software mohou být injektovány reálné či uměle vytvořené defekty. Pro sofistikovanější vyhodnocování se používá mutační testování, které uměle mění zdrojový kód. Mutační testování nedokáže nasimulovat rozsáhlejší a realistické defekty, vzniklé například špatným pochopením specifikace. Ve článku je představena open-source aplikace sloužící jako testovací přípravek umožňující injekci sofistikovaných defektů. Defekty se nacházejí v předem připravených blocích a výsledná aplikace je z těchto bloků sestavena. Naprostá většina funkcionality a elementů GUI je pokryta automatickými frond-end testy.