Что показали 3360 испытаний и что агент при этом сообщал пользователю Ранее мы описывали методологию создания тестовой системы для ИИ‑агентов с вызовом функций, имеющих реальный эффект. Ее основная идея заключается в том, что для совершения...
Что показали 3360 испытаний и что агент при этом сообщал пользователю
Ранее мы описывали методологию создания тестовой системы для ИИ‑агентов с вызовом функций, имеющих реальный эффект.
Ее основная идея заключается в том, что для совершения действия агент должен проанализировать условия, которые обеспечивают правомерность действия, но при этом он может их узнать только из внешнего источника — из ответа функции чтения или из доступного ему документа, то есть условие имеет статус неназванного. Методология позволяет воспроизводимо проверить, вызовет ли ИИ‑агент функцию, когда вызывать ее нельзя, а также сопоставить с действием ответ агента, который он даст при этом пользователю.
Метод, план прогона, карты ошибок и подробный анализ опубликованы в препринте. Здесь мы представим лишь некоторые выводы, касающиеся работы агента плюс несколько замечаний о методе.
Главный результат прогона: удержит ли агент условие, зависит прежде всего от того, как оно записано в данных. Норму, записанную словом в имени поля или значением‑запретом, DeepSeek соблюдал почти всегда. Запрет, который нужно вывести из описания объекта, он нарушал и без всякого давления. В большинстве срывов агент называл препятствие и всё равно выполнял действие.