Давайте создадим оценочную проверку, которая выявляет ошибки, скрытые идеальным окончательным ответом. В большинстве оценок LLM сгенерированный ответ сравнивается с ожидаемым ответом. Это полезно для обобщения, извлечения информации и ответов на вопросы. Для ...
Давайте создадим оценочную проверку, которая выявляет ошибки, скрытые идеальным окончательным ответом.
В большинстве оценок LLM сгенерированный ответ сравнивается с ожидаемым ответом. Это полезно для обобщения, извлечения информации и ответов на вопросы.
Для агента, который совершает действия, это только одна часть теста.
Производственный агент может вернуть правильный текст после неправильного вызова API, пропуска утверждения или записи в систему, которую он должен был оставить нетронутой.
Давайте конкретизируем эту проблему и нарисуем программу оценки, которая проверяет как выходные данные, так и путь выполнения.
Ложное срабатывание
Представьте себе ИИ-агента, помогающего менеджеру по работе с клиентами с продлением срока действия клиента. Оно должно:
Прочитайте запись CRM клиента.
Определите, имеет ли учетная запись право на продление.
Подготовьте предлагаемое обновление статуса.
Прежде чем вносить изменения в CRM, запросите одобрение человека.
Агент отвечает:
Продление разрешено. Перед обновлением учетной записи требуется одобрение.
Этот окончательный текст — именно то, что мы хотели. Но трассировка выполнения показывает успешный вызов crm.update перед любым событием утверждения.
Ответ правильный. Пробега нет.
Метрика сходства строк не может обнаружить это нарушение.
Шаг 1. Фиксируйте структурированные события
А