Deep Generalized Max Pooling

Abstract

Global pooling layers are an essential part of Convolutional Neural Networks (CNN). Global average pooling or global max pooling are commonly used for converting convolutional features of variable size images to a fix-sized embedding. However, both pooling layer types are computed spatially independent. In contrast, we propose Deep Generalized Max Pooling that balances the contribution of all activations of a spatially coherent region by re-weighting all descriptors so that the impact of frequent and rare ones is equalized. We show that this layer is superior to both average and max pooling on the classification of Latin medieval manuscripts (CLAMM’16, CLAMM’17), as well as writer identification (Historical-WI’17).

Globální poolingové vrstvy jsou nezbytnou součástí konvolučních neuronových sítí (CNN). Globální průměrný pooling nebo globální maximální pooling se běžně používají k převodu konvolučních příznaků obrazů s proměnnou velikostí na vektor s pevnou velikostí. Oba typy poolingových vrstev jsou však počítány prostorově nezávisle. Na rozdíl od toho navrhujeme „hluboký zobecněný max pooling“, který upravuje přínos všech aktivací prostorově koherentní oblasti převážením všech deskriptorů tak, aby byl vyrovnáván dopad častých a vzácných. Ukazujeme, že tato vrstva překonává výsledky průměrného i maximálního poolingu v úloze klasifikace latinských středověkých rukopisů (CLAMM’16, CLAMM’17), stejně jako v identifikaci pisatele (Historical-WI’17).