Generation of Benchmark of Software Testing Methods for Java with Realistic Introduced Errors

Abstract

This paper deals with a benchmark of automated test generation methods for software testing. To enable mutual comparison of various methods and to investigate their ability to find realistic errors, we propose a benchmark consisting of several applications with wittingly introduced errors. These errors should be found by the investigated test generation methods during the benchmark. To enable an easy introduction of various errors of various types into the benchmark applications, we created the Testing Applications Generator (TAG) tool. The description of the TAG along with two applications, which we developed as a part of the intended benchmark, is the main contribution of this paper.

Tento článek se zabývá benchmarkem automatizovaných metod generování testů pro testování softwaru. Aby bylo možné vzájemně porovnat různé metody a prozkoumat jejich schopnost najít realistické chyby, byl navržen benchmark skládající se z několika aplikací s úmyslně vloženými chybami. Tyto chyby by měly být nalezeny zkoumanými metodami generování testů během benchmarku. Aby bylo možné snadno vlákat různé chyby různých typů do aplikací, které jsou součástí benchmarku, vytvořili jsme nástroj generátor testovacích aplikací (TAG). Popis nástroje TAG společně s dvěma aplikacemi, které jsme vyvinuli jako část zamýšleného benchmarku, je hlavním přínosem tohoto článku.