Voice-Interactive Learning Dialogue on a Low-Cost Device

Abstract

Traditional offline learning approaches are reaching their limits in meeting the dynamic demands of specialized applications, such as real-time human-robot interaction. While high benchmark scores attained through offline fine-tuning large models on extensive data, offer a glimpse of their potential, the true functionality is validated when these models are deployed on target devices and utilized in real-life scenarios. This paper presents a method incorporating humans in an interactive learning loop, using their real-time feedback for online neural network retraining. By leveraging the power of transfer learning, we can proficiently adapt the model to suit the specific requirements of the target application through a natural voice-based dialogue. The approach is evaluated on the image classification task utilizing a unique low-cost device and a practical example of the real-time dialogue is presented to demonstrate the functionality.

Tradiční přístupy strojového učení narážejí na své limity v plnění dynamických požadavků specializovaných aplikací jako jsou úlohy interakce v reálném čase mezi lidmi a roboty. Zatímco vysoká přesnost klasifikace na offline úlohách dosažená díky offline optimalizaci velkých modelů na rozsáhlých datech nabízí pohled na jejich potenciál, pravá funkčnost je ověřena, až když jsou tyto modely nasazeny na cílová zařízení a využity v reálných situacích. Tento článek představuje metodu, která zahrnuje lidskou účast v interaktivním učícím cyklu a využívá lidskou zpětnou vazbu v reálném čase pro online přetrénování neuronové sítě. Využitím síly tzv. transfer learning dokážeme efektivně přizpůsobit model tak, aby vyhovoval specifickým požadavkům cílové aplikace prostřednictvím přirozeného hlasového dialogu. Přístup je vyhodnocen na úloze klasifikace obrazů s využitím unikátního low-cost zařízení, a je představen praktický příklad reálného dialogu k prokázání funkčnosti.