Sketch2Code: Automatic hand-drawn UIelements detection with Faster R-CNN

Abstract

Převod nákresů uživatelského rozhraní do počítače je náročný a opakující se úkol. Především díky tomu, vzrůstá poptávka po systémech, které jsou schopné tento proces automatizovat. V tomto článku popisujeme metodu hlubokého učení pro lokalizaci jednotlivých elementů uživatelského rozhraní, která se umístila na prvním místě v soutěži ImageCLEFdrawnUI, přičemž dosáhla celkové přesnosti rovné 0.9708. Navržená metoda je založena na metodě detekce objektů Faster R-CNN s "backbone" architekturou ResNet-50, trénované pomocí pokročilých regularizačních technik. Pro reprodukční účely byl kód zveřejněn na https://github.com/picekl/ImageCLEF2020-DrawnUI.