За пределами иллюзий таблицы лидеров: бенчмаркинг многооборотных циклов агентной обратной связи в автономной разработке программного обеспечения с помощью TFD-Bench

За пределами иллюзий таблицы лидеров: бенчмаркинг многооборотных циклов агентной обратной связи в автономной разработке программного обеспечения с помощью TFD-Bench Подача заявки на участие в конкурсе Kaggle Benchmarking Challenge на DEV Автор: Раджа Раджак (@rajrajak99) Набор контрольных данных Kaggle: агентные траектории Gemma 4 TFD Оценочный блокнот Kaggle: TFD-Bench на Kaggle Репозиторий GitHub: github.com/rajrajak99/gemma4-tfd-agent. ⚡ Резюме и TL;DR Стандартные тесты ИИ-кодирования, такие как HumanEval, MBPP и статические головоломки в стиле LeetCode, страдают от фатального слепого пятна: они тестируют однократный синтез кода изолированно, полностью игнорируя то, как на самом деле происходит разработка программного обеспечения в реальном мире. Реальная разработка программного обеспечения — это не одна транзакция, требующая быстрого реагирования; он учитывает состояние, итеративный, основан на гипотезах и управляется обратной связью по результатам тестирования. При развертывании в действующих репозиториях современные LLM страдают от того, что мы называем «иллюзией единоразовой компетентности»: они генерируют элегантные, синтаксически чистые исправления кода, которые не проходят 64,2% реальных наборов регрессионных тестов. Чтобы измерить то, что действительно важно, мы разработали TFD-Bench (Test-Feedback-Driven Benchmark): оценочный набор из 50 многоэтапных задач отладки в 1