VinVL+L: Enriching Visual Representation with Location Context in VQA

Abstract

In this paper, we describe a novel method - VinVL+L - that enriches the visual representations (i.e. object tags and region features) of the State-of-the-Art Vision and Language (VL) method - VinVL - with Location information. To verify the importance of such metadata for VL models, we (i) trained a Swin-B model on the Places365 dataset and obtained additional sets of visual and tag features; both were made public to allow reproducibility and further experiments, (ii) did an architectural update to the existing VinVL method to include the new feature sets, and (iii) provide a qualitative and quantitative evaluation. By including just binary location metadata, the VinVL+L method provides incremental improvement to the State-of-the-Art VinVL in Visual Question Answering (VQA). The VinVL+L achieved an accuracy of 64.85% and increased the performance by +0.32% in terms of accuracy on the GQA dataset; the statistical significance of the new representations is verified via Approximate Randomization. The code and newly generated sets of features are available at https://github.com/vyskocj/VinVL-L.

V tomto článku popisujeme novou metodu – VinVL+L – která obohacuje vizuální reprezentace (tj. tagy objektů a příznaky regionů) State-of-the-Art metody vidění a jazyka (Vision and Language, VL) – VinVL – o informaci lokace. Abychom ověřili důležitost takových metadat pro modely VL, tak jsme (i) trénovali model Swin-B na datové sadě Places365 a získali jsme další sady vizuálních a tagových příznaků; nové sety byly zveřejněny pro umožnění dalších experimentů a reprodukovatelnosti, (ii) provedli architektonickou aktualizaci stávající metody VinVL tak, aby zahrnovala nové sady příznaků, a (iii) poskytli kvalitativní a kvantitativní hodnocení. Zahrnutím pouze binárních metadat o lokaci poskytuje metoda VinVL+L postupného vylepšení VinVL ve vizuálním odpovídání na otázky (Visual Question Answering, VQA). VinVL+L dosáhl přesnosti 64,85 % a zvýšil výkon o +0,32 % z hlediska celkové přesnosti na datovém souboru GQA; statistická významnost nových reprezentací je ověřena pomocí metody Approximate Randomization. Kód a nově vygenerované sady příznaků jsou k dispozici na https://github.com/vyskocj/VinVL-L.