Sketch2Code: Automatic hand-drawn UIelements detection with Faster R-CNN

dc.contributor.authorZita, Aleš
dc.contributor.authorPicek, Lukáš
dc.contributor.authorŘíha, Antonín
dc.date.accessioned2022-03-28T10:00:25Z
dc.date.available2022-03-28T10:00:25Z
dc.date.issued2020
dc.description.abstractPřevod nákresů uživatelského rozhraní do počítače je náročný a opakující se úkol. Především díky tomu, vzrůstá poptávka po systémech, které jsou schopné tento proces automatizovat. V tomto článku popisujeme metodu hlubokého učení pro lokalizaci jednotlivých elementů uživatelského rozhraní, která se umístila na prvním místě v soutěži ImageCLEFdrawnUI, přičemž dosáhla celkové přesnosti rovné 0.9708. Navržená metoda je založena na metodě detekce objektů Faster R-CNN s "backbone" architekturou ResNet-50, trénované pomocí pokročilých regularizačních technik. Pro reprodukční účely byl kód zveřejněn na https://github.com/picekl/ImageCLEF2020-DrawnUI.cs
dc.description.abstract-translatedTranscription of User Interface (UI) elements hand drawings to the computer code is a tedious and repetitive task. Therefore, a need arose to create a system capable of automating such process. This paper describes a deep learning-based method for hand-drawn user interface elements detection and localization. The proposed method scored 1st place in the ImageCLEFdrawnUI competition while achieving an overall precision of 0.9708. The final method is based on Faster R-CNN object detector framework with ResNet-50 backbone architecture trained with advanced regularization techniques. The code has been made available at: https://github.com/picekl/ImageCLEF2020-DrawnUI.en
dc.format9 s.cs
dc.format.mimetypeapplication/pdf
dc.identifier.citationZITA, A. PICEK, L. ŘÍHA, A. Sketch2Code: Automatic hand-drawn UIelements detection with Faster R-CNN. In CEUR Workshop proceedings - CLEF 2020 Working Notes. Thessaloniki: CEUR-WS, 2020. s. nestránkováno. ISBN: neuvedeno , ISSN: 1613-0073cs
dc.identifier.isbnneuvedeno
dc.identifier.issn1613-0073
dc.identifier.obd43930882
dc.identifier.uri2-s2.0-85113485682
dc.identifier.urihttp://hdl.handle.net/11025/47233
dc.language.isoenen
dc.project.IDSGS-2019-027/Inteligentní metody strojového vnímání a porozumění 4cs
dc.project.IDLO1506/PUNTIS - Podpora udržitelnosti centra NTIS - Nové technologie pro informační společnostcs
dc.publisherCEUR-WSen
dc.relation.ispartofseriesCEUR Workshop proceedings - CLEF 2020 Working Notesen
dc.rights© authorsen
dc.rights.accessopenAccessen
dc.subject.translatedWeb Designen
dc.subject.translatedObject Detectionen
dc.subject.translatedConvolutional Neural Networksen
dc.subject.translatedMachine Learningen
dc.subject.translatedComputer Visionen
dc.subject.translatedUser Interfaceen
dc.subject.translatedDeep Learningen
dc.titleSketch2Code: Automatic hand-drawn UIelements detection with Faster R-CNNen
dc.title.alternativeSketch2Code: Automatická detekce ručně kreslených elementů uživatelského rozhraní pomocí Faster R-CNNcs
dc.typekonferenční příspěvekcs
dc.typeConferenceObjecten
dc.type.statusPeer-revieweden
dc.type.versionpublishedVersionen

Files

Original bundle
Showing 1 - 1 out of 1 results
No Thumbnail Available
Name:
paper_82.pdf
Size:
2.55 MB
Format:
Adobe Portable Document Format