Что такое РАГ? Объяснение генерации с расширенным поиском

Первоначально опубликовано на DevToolHub. Что такое РАГ, в одном предложении? Способ заставить LLM отвечать на вопросы, используя документы, на которых он никогда не обучался, путем поиска в этих документах соответствующих отрывков и передачи модели результатов в качестве контекста, прежде чем она сгенерирует ответ. Никакого переобучения, никакой тонкой настройки — просто шаг поиска, прикрепленный к передней части обычной подсказки. Этот термин взят из исследования искусственного интеллекта Facebook от 2020 года, в котором он описывается как сочетание «предварительно обученной параметрической и непараметрической памяти для генерации языка» — обученные знания модели плюс живой поиск во внешнем индексе. Что такое РАГ? Генерация с расширенным поиском — это шаблон, а не конкретный инструмент: извлеките соответствующую информацию для запроса, затем сгенерируйте ответ, используя эту информацию в качестве контекста. В оригинальной статье RAG, написанной Патриком Льюисом и его коллегами из Facebook AI Research, предварительно обученная модель последовательностей сочеталась с плотным векторным индексом, к которому обращается предварительно обученный нейронный ретривер. RAG существует, потому что у LLM есть два жестких ограничения. Их знания замораживаются во время обучения, и они вообще не знают ваших личных данных. Поиск решает обе проблемы, извлекая соответствующий текст во время запроса i.