Retrieval-Augmented Generation (RAG) using Large Language Models (LLMs)

Abstract

The convergence of Retrieval-augmented generation (RAG) methodologies with the ro- bust computational prowess of Large Language Models (LLMs) heralds a new era in natural language processing, promising unprecedented levels of accuracy and contextual relevance in text generation tasks. Pre-trained large language models, also referred to as foundation models, typically lack the ability to learn incrementally, may exhibit hallucinations, and can inadvertently expose pri- vate data from their training corpus. Addressing these shortcomings has sparked increasing interest in retrieval-augmented generation methods. RAG enhances the predictive capabilities of large language models by integrating an external datastore during inference. This approach enriches prompts with a blend of context, historical data, and pertinent knowledge, resulting in RAG LLMs.

Konvergence metod generování s podporou získávání informací (RAG) s robustním výpočetním výkonem velkých jazykových modelů (LLM) představuje novou éru v oblasti zpracování přirozeného jazyka, slibující bezprecedentní úroveň přesnosti a kontextové relevance při úlohách generování textu. Předtrénované velké jazykové modely, také nazývané základní modely, obvykle postrádají schopnost postupného učení, mohou vykazovat halucinace a mohou neúmyslně odhalovat soukromá data ze svého tréninkového korpusu. Řešení těchto nedostatků vyvolalo rostoucí zájem o metody generování s podporou získávání informací. RAG zvyšuje prediktivní schopnosti velkých jazykových modelů integrací externího datového úložiště během inference. Tento přístup obohacuje podněty o kombinaci kontextu, historických dat a relevantních znalostí, což vede k modelům RAG LLM.