Improving web user interface element detection using Faster R-CNN

Abstract

Při navrhování nových uživatelských rozhraní (UI) může nastat několik problémů, například při komunikaci mezi designéry a vývojáři, čemuž detekce prvků UI může pomoci. ImageCLEF DrawnUI 2021 Challenge staví na detekci takovýchto prvků ve dvou soutěžních úkolech: Screenshot task, který obsahuje snímky webových obrazovek se spoustou chybně anotovaných dat, a Wireframe task pro detekci prvků z ručně kreslených návrhů. Tento článek popisuje jednoduchý algoritmus založený na hranovém detektoru pro filtrování chybných dat ze snímků obrazovky a metodu strojového učení. Zvolený postup vyhrál první místo v obou soutěžních úkolech Screenshot a Wireframe s 0,628 a 0,900 mAP při 0,5 IoU. Zvolená metoda strojového učení je založena na Faster R-CNN s Feature Pyramid Network (FPN) a používá vybrané poměry stran boxů podle jejich výskytů v dostupných datech. Kód je k dispozici na https://github.com/vyskocj/ImageCLEFdrawnUI2021