Каждые несколько недель кто-то говорит мне, что сейчас лучший агент кодирования — другой. Возможно, они правы, учитывая их кодовую базу. Я хотел знать, кто из них лучше всех справляется с моими задачами, и единственный честный способ узнать это — дать им всем одинаковое задание и...
Каждые несколько недель кто-то говорит мне, что сейчас лучший агент кодирования — другой. Возможно, они правы, учитывая их кодовую базу. Я хотел знать, кто из них лучше всех справляется с моими задачами, и единственный честный способ узнать это — дать им всем одно и то же задание и проверить результаты.
Поэтому я создал Kaiju: небольшой демон Rust, который выполняет одну задачу кодирования одновременно в нескольких AI CLI (Claude Code, Codex, Gemini), каждый в своем изолированном рабочем дереве git, затем позволяет моим тестам определить победителя и объединяет результаты, которые возвращаются в мою ветку.
Репо: github.com/ashishthete/kaiju.
Цикл: сравнивайте, оценивайте, продвигайте
Сравнить
Одно приглашение отправляется N агентам. Каждый из них запускается в своем собственном сеансе tmux, в своей ветке kaiju/ в отдельном рабочем дереве git. У них нет общего состояния, поэтому они не могут мешать друг другу, а на панели мониторинга показаны прогоны рядом с живыми различиями.
Судья
Нажмите Judge и местный ключ -p ранжирует пробежки. Две вещи делают его честным:
Тиражи анонимизируются как A/B/C, поэтому судья не может отдать предпочтение бренду.
Если вы дадите ему тестовую команду (скажем, грузовой тест), Кайдзю запустит ее в каждом рабочем дереве, и судья взвесит, насколько хорошо выглядит разница.
Ключ API не требуется, поскольку он использует интерфейс командной строки, в который вы уже вошли.
Пр