Grok CLI и терминальные агенты: 90 000 токенов, прежде чем тест скажет «неправильно»

Первоначально опубликовано на commoditech.pl. Дайте терминальному агенту репозиторий и команду «исправить этот тест», и цикл не завершится после одного вызова модели. На каждом шаге к контексту добавляются результат поиска, окно файла и некоторый стандартный вывод. Возьмите префикс на 2000 токенов (инструкция, AGENTS.md, задача), 1000 токенов нового наблюдения за шаг и без кэша префиксов. Двенадцать шагов отправляют 90 000 входных токенов. Один вызов с тем же префиксом и одно наблюдение отправляет 3000. Это соотношение 30. Последние три шага стоят 36 000 токенов, 40% от суммы счета; первые три стоят 9000, или 10%. Вы можете переписать эту сумму на бумаге. Это не счет от именованного внедрения. Но именно так выглядит счет, когда никто не устанавливает предел шага и цикл останавливается, когда модель говорит «готово», а не когда тест становится зеленым. Второй риск имеет большее значение, чем токены. Агент, который читает проблему, README или результат инструмента, также действует на основе того, что там написала третья сторона, и под ним имеется оболочка. AgentDojo (Дебенедетти и др., arXiv:2406.13352) имеет 97 задач и 629 тестов безопасности. Модели не справляются с некоторыми задачами, даже если на них ничего не воздействует, а быстрое внедрение, скрытое в выходных данных инструмента, нарушает некоторые задачи.