Система RAG может получить соответствующий документ, дать беглый ответ, прикрепить цитату и при этом дать пользователю неверный совет. Рассмотрим помощника по внутренней политике. Сотрудник спрашивает: Могу ли я потратить 180 долларов на проживание в отеле в Берлине в следующем месяце?
Система RAG может получить соответствующий документ, дать беглый ответ, прикрепить цитату и при этом дать пользователю неверный совет.
Рассмотрим помощника по внутренней политике. Сотрудник спрашивает:
Могу ли я потратить 180 долларов на проживание в отеле в Берлине в следующем месяце?
Система получает информацию о туристической политике и отвечает «да». Цитата реальная. Ответ точно резюмирует эту политику.
Но срок действия полиса истек в прошлом году. Или ограничение распространяется на другую группу сотрудников. Или в полученном абзаце не указано требование обязательного одобрения.
Какая метрика это уловит?
Вот почему я рассматриваю оценку методом расширенной генерации данных (RAG) как инженерную дисциплину, которая связывает качество доказательств с результатами пользователей. Одна оценка точности не может сказать мне, нужно ли исправлять синтаксический анализ документа, извлечение изменений, корректировать сборку контекста или заменять генератор.
Моя структура задает два вопроса:
Где система дает сбой? Оцените отдельные этапы.
Соответствует ли вся система своему назначению? Оцените результат пользователя при реальных ограничениях.
Оба необходимы. Метрики компонентов помогают объяснить сбой; сквозные метрики определяют, полезна ли система.
1. Начните с контракта на оценку
Бефо