Как починить RAG

Привет! Я Катя Пославская, занимаюсь RAG-системами и ИИ-агентами в KTS. За время работы с RAG я убедилась, что после вдохновляющих результатов прототипирования на фрагменте данных многие компании отказываются от вывода RAG-ассистента в прод. Причины просты: вау-эффект разбивается о реальность, когда мы подключаемся к полной корпоративной базе, большой, постоянно растущей, шумной. Кто-то видел актуальный корпоративный Confluence, в котором каждая статья точно описывает существующий процесс, оперативно выходят новые актуальные статьи, а устаревшее отправляется в архив или удаляется? Вот и я такого Confluence не видела. А что делать, когда у нас много владельцев контента, много источников данных, высокие риски выдачи неверного ответа клиенту? Я строю RAG-системы для корпоративных заказчиков больше двух лет и успела освоить некоторые техники их «приручения», которые помогают минимизировать проблемы и успешно поддерживать решения в проде. Сегодня мы разберём тонкости настройки ассистента от чанков до генерации, а также лекарства от типичных поломок на проде. Сразу дам маленький спойлер про галлюцинации, в которых постоянно упрекают LLM: на практике чаще всего в них виновата НЕ модель.