PocketEAR: An Assistive Sound Classification System for Hearing-Impaired

Abstract

Tento článek popisuje architekturu a činnost asistivního systému nazvaného PocketEAR, který je primárně určen pro sluchově postižené uživatele. Pomáhá jim orientovat se v akusticky aktivním prostředí tím, že průběžně monitoruje a klasifikuje přicházející zvuky a zobrazuje uživateli třídy těchto zachycených zvuků. Klasifikátor zvuků prostředí je navržen jako dvojstupňový klasifikátor hlubokou konvoluční neuronovou sítí (skládá se z tzv. superklasifikátoru a množiny tzv. subklasifikátorů), do kterého vstupuje sekvence MFCC vektorů. Klasifikátor je obklopen distribuovaným klient-server systémem, kdy zachycení zvuků v terénu, jejich (před)zpracování a zobrazení výsledků klasifikace zajišťují instance mobilní klientské aplikace, zatímco o samotnou klasifikaci a správu systému se starají dva kooperující servery. Článek detailně rozebírá architekturu klasifikátoru zvuků z prostředí a také použité specifické postupy zpracování zvuku.This paper describes the design and operation of an assistive system called PocketEAR which is primarily targeted towards hearing-impaired users. It helps them with orientation in acoustically active environments by continuously monitoring and classifying the incoming sounds and displaying the captured sound classes to the users. The environmental sound recognizer is designed as a two-stage deep convolutional neural network classifier (consists of the so-called superclassifier and a set of the so-called subclassifiers) fed with sequences of MFCC vectors. It is wrapped in a distributed client-server system where the sound capturing in terrain, (pre)processing and displaying of the classication results are performed by instances of a mobile client application, and the actual classication and maintenance are carried out by two co-operating servers. The paper discusses in details the architecture of the environmental sound classier as well as the used task-specific sound processing