Изменение, которое ничего не меняет, должно получить ноль баллов. Мой этого не сделал.

Перед настоящим экспериментом я провел небольшой пилотный проект. Выявлено более десяти ошибок. Каждый из них находился в моем собственном коде измерения. Ни один из них не научил меня ничему относительно вопроса, на который я на самом деле пытался ответить. Это продолжение killcheck, ремня тестового качества, о котором я писал здесь ранее в этом году. Новая работа представляет собой исследовательскую работу, участвующую в конкурсе Kaggle об агентах кодирования искусственного интеллекта, созданных на основе моделей Google Gemma 4, в которой рассматривается, как определить, действительно ли исправление ошибок агента является правильным. Он подается в ноябре, а результаты становятся известны после закрытия конкурса, поэтому в этом посте нет результатов. В нем есть та часть, которая предшествовала выводам, и которая, я думаю, в любом случае является более полезной. Ошибки Им было скучно. Именно это делает их опасными. Порядок, который не был стабильным между запусками, поэтому один и тот же ввод создавал разную последовательность в зависимости от того, как файловая система чувствовала себя тем утром. Случайность, которую я не засеял и не знала о ее существовании. Тайм-ауты, которые сработали под нагрузкой и были записаны как результат, а не как отсутствующий результат. Выходные данные, которые просто различались в двух идентичных запусках по причинам, которые я не мог сразу объяснить. Никто из тех, кто не объявляет