Я создал инструмент Python с открытым исходным кодом, позволяющий записывать запуски агентов ИИ, воспроизводить сбои в автономном режиме и превращать их в регрессионные тесты pytest. Вот что произошло, когда я протестировал его на настоящей модели Gemini. Гитхаб: https://github.com/utsab345/stepfork Ре...
Я создал инструмент Python с открытым исходным кодом, позволяющий записывать запуски агентов ИИ, воспроизводить сбои в автономном режиме и превращать их в регрессионные тесты pytest. Вот что произошло, когда я протестировал его на настоящей модели Gemini.
Гитхаб: https://github.com/utsab345/stepfork
Пример использования Real-LLM: https://github.com/utsab345/stepfork/tree/main/examples/real-llm-case-study.
Проблема с отладкой ИИ-агентов
Когда традиционная функция Python дает сбой, воспроизвести проблему обычно несложно. Вы предоставляете те же входные данные, снова запускаете функцию и выясняете, что пошло не так.
С агентами ИИ все становится сложнее.
Агент может позвонить в LLM, получить документы, использовать несколько инструментов и принимать решения на основе промежуточных результатов.
Если что-то пойдет не так, повторный запуск агента может привести к другому результату. Модель может реагировать по-разному, внешние данные могут меняться, а инструменты могут иметь побочные эффекты.
Я все время думал над простым вопросом:
Что, если бы мы могли один раз зарегистрировать сбой агента и превратить его в обычный регрессионный тест?
Вот почему я начал создавать Stepfork, библиотеку Python с открытым исходным кодом для записи и воспроизведения выполнения агентов ИИ.
Идея проста:
Запись выполнения агента