Большинство наборов тестов для агентов пишутся за столом. Кто-то придумывает двадцать реалистичных вопросов, записывает ожидаемые ответы и запускает их перед каждым выпуском. Они проходят, агент отправляет, а затем в производстве происходит провал, о котором никто не мог и подумать:...
Большинство наборов тестов для агентов пишутся за столом. Кто-то придумывает двадцать реалистичных вопросов, записывает ожидаемые ответы и запускает их перед каждым выпуском. Они проходят, агент отправляет товар, а затем производство приводит к провалу, которого никто не мог себе представить: странная формулировка, инструмент, который выходит из строя в неподходящий момент, клиент, который меняет свое мнение на полпути.
Ваш лучший источник тестовых примеров уже находится в ваших журналах. Каждая реальная неудача, обострение ситуации и спор — это случай, с которым действительно столкнулся ваш агент. В этом руководстве показано, как превратить эти сеансы в регрессионные тесты с помощью ZizkaDB, чтобы каждый исправленный вами инцидент оставался исправленным.
Примечание об области действия: журнал изменений документирует возможности SDK и API: log_batch, iter_events, Export_events и import_events,verify_chain, поиск с параметром режима, базовый уровень и idempotency_key при записи. Он не передает все параметры, поэтому приведенный ниже код является иллюстративным. Проверьте файлы README SDK на наличие точных подписей и используйте zizkadb-sdk 0.5.0 или новее.
Почему производственные сессии делают тесты лучше
Они реальны. Синтетические кейсы отражают то, чего вы ожидаете от пользователей. Производственные сессии показывают, что они сделали.
Они несут всю историю. Сеанс связанных событий записывает похлопывание