Improving web user interface element detection using Faster R-CNN

Show simple item record
dc.contributor.authorVyskočil, Jiří
dc.contributor.authorPicek, Lukáš
dc.date.accessioned2022-03-28T10:00:29Z
dc.date.available2022-03-28T10:00:29Z
dc.date.issued2021
dc.description.abstractPři navrhování nových uživatelských rozhraní (UI) může nastat několik problémů, například při komunikaci mezi designéry a vývojáři, čemuž detekce prvků UI může pomoci. ImageCLEF DrawnUI 2021 Challenge staví na detekci takovýchto prvků ve dvou soutěžních úkolech: Screenshot task, který obsahuje snímky webových obrazovek se spoustou chybně anotovaných dat, a Wireframe task pro detekci prvků z ručně kreslených návrhů. Tento článek popisuje jednoduchý algoritmus založený na hranovém detektoru pro filtrování chybných dat ze snímků obrazovky a metodu strojového učení. Zvolený postup vyhrál první místo v obou soutěžních úkolech Screenshot a Wireframe s 0,628 a 0,900 mAP při 0,5 IoU. Zvolená metoda strojového učení je založena na Faster R-CNN s Feature Pyramid Network (FPN) a používá vybrané poměry stran boxů podle jejich výskytů v dostupných datech. Kód je k dispozici na https://github.com/vyskocj/ImageCLEFdrawnUI2021cs
dc.description.abstract-translatedSeveral challenges may arise when designing new user interfaces (UIs), e.g., because of communication between designers and developers, to which the detection of UI elements can help. The ImageCLEF DrawnUI 2021 challenge builds on the detection of such elements in two contest tasks: a Screenshot task that contains the website screenshot images with lots of noisy data, and a Wireframe task for detecting UI elements from hand-drawn proposals. This paper describes a simple algorithm based on the edge detection to filter noisy data from the website screenshots, and machine learning method which scored the first place in both tasks while having 0.628 and 0.900 mAP at 0.5 IoU in the Screenshot and Wireframe tasks. This method is based on the Faster R-CNN with a Feature Pyramid Network (FPN) that uses selected aspect ratios of anchor boxes according to the occurrences from the datasets. The code is available at https://github.com/vyskocj/ImageCLEFdrawnUI2021en
dc.format12 s.cs
dc.format.mimetypeapplication/pdf
dc.identifier.citationVYSKOČIL, J. PICEK, L. Improving web user interface element detection using Faster R-CNN. In Proceedings of the Working Notes of CLEF 2021 - Conference and Labs of the Evaluation Forum. Aachen: CEUR-WS, 2021. s. 1375-1386. ISBN: neuvedeno , ISSN: 1613-0073cs
dc.identifier.isbnneuvedeno
dc.identifier.issn1613-0073
dc.identifier.obd43933816
dc.identifier.uri2-s2.0-85113552103
dc.identifier.urihttp://hdl.handle.net/11025/47271
dc.language.isoenen
dc.project.IDSGS-2019-027/Inteligentní metody strojového vnímání a porozumění 4cs
dc.project.ID90140/Velká výzkumná infrastruktura_(J) - e-INFRA CZcs
dc.publisherCEUR-WSen
dc.relation.ispartofseriesProceedings of the Working Notes of CLEF 2021 - Conference and Labs of the Evaluation Forumen
dc.rights© authorsen
dc.rights.accessopenAccessen
dc.subjectDetekce objektůcs
dc.subjectStrojové učenícs
dc.subjectDetekce hrancs
dc.subjectFaster R-CNNcs
dc.subjectFPNcs
dc.subjectCNNcs
dc.subjectUživatelské rozhranícs
dc.subject.translatedObject Detectionen
dc.subject.translatedMachine Learningen
dc.subject.translatedEdge Detectionen
dc.subject.translatedFaster R-CNNen
dc.subject.translatedFPNen
dc.subject.translatedCNNen
dc.subject.translatedUser Interfaceen
dc.titleImproving web user interface element detection using Faster R-CNNen
dc.title.alternativeDetekce prvků webového uživatelského rozhraní s Faster R-CNNcs
dc.typekonferenční příspěvekcs
dc.typeConferenceObjecten
dc.type.statusPeer-revieweden
dc.type.versionpublishedVersionen

Files

Original bundle
Showing 1 - 1 out of 1 results
No Thumbnail Available
Name:
VYskocil_Improving_web_user_paper117_2021.pdf
Size:
650.75 KB
Format:
Adobe Portable Document Format
Download

Collections

OBD
 Conference Papers (KKY)