Open-source hlasový dialogový asistent

Abstract

Tato práce se zabývá vývojem pokročilého AI asistenta, navrženého pro robustní lokální inferenci na platformě macOS a pokročilé schopnosti umělé inteligence. Cílem je excelovat v úkolech dostupných již existujícím asistentům a zároveň rozšířit škálu nových funkcí, jako je pokročilé lokální vyhledávání na internetu, kvalitní rozpoznávání a generování řeči, schopnosti konstruktivního chatování a další. Významnou součástí tohoto výzkumu bylo experimentální zkoumání jemného ladění LLM zaměřeného na uvažování, specificky pro úlohy volání funkcí, s využitím technik Parameter-Efficient Fine-Tuning (PEFT). Cílem tohoto experimentu bylo zlepšit schopnost modelu přesně vyvolávat nástroje na základě záměru uživatele. Tato práce také zahrnuje analýzu historického kontextu, zkoumání funkčnosti populárních asistentů a návrhové poznatky.

Description

Subject(s)

macOS, AI Asistent, Hlasové ovládání, Lokální zpracování, Velké jazykové modely (LLM), Volání funkcí, Automatické rozpoznávání řeči (ASR), Převod textu na řeč (TTS), Retrieval-Augmented Generation (RAG), Systémová integrace, SwiftUI, Python, Jemné ladění modelů, Interakce člověka s počítačem

Citation