Перестаньте доверять резюме вашего агента. Проведите аудит его следа.

TL;DR: Каждый запуск агента заканчивается сводкой, которую агент написал о себе. Это резюме не является доказательством. Это заявление ожидает проверки. Я управляю компанией, состоящей из одного человека, и использующей флот агентов, и в этом месяце я перестал оценивать флот по его собственным табелям успеваемости — потому что отрасль только что предложила альтернативу: машиночитаемый отчет обо всем, что на самом деле делал агент. Когда вы даете агенту настоящую работу, она разлетается в стороны. Одна инструкция превращается в дюжину вызовов модели, несколько вызовов инструментов, повторов, обходов и циклов, которые вы никогда не увидите. Затем он вручает вам один аккуратный абзац: готово, все хорошо, вот что произошло. В течение нескольких месяцев этот абзац был моим контрольным журналом. Я читал сводки, проверял временную метку сердцебиения и называл это наблюдением. Это не надзор. Сотруднику предлагается написать собственный обзор эффективности и оставить его непрочитанным. Резюме может быть беглым и при этом ошибочным Режим отказа не лжет. Это упущение масштаба. Сводка сжимает сотни действий в повествование, а сжатие удаляет именно те детали, которые нужны аудитору: вызов, который молча вернулся к более слабой модели, инструмент, у которого истекло время ожидания и был перенаправлен, цикл, который сжигал входящие токены.