Оценка производительности кодирования выглядит как мера модели. Это мера модели по сравнению с набором тестов, и этот набор тестов пишется, проверяется и обсуждается людьми. Два набора данных OpenAI показывают, сколько человеческого труда требуется для этого и...
Оценка производительности кодирования выглядит как мера модели. Это мера модели по сравнению с набором тестов, и этот набор тестов пишется, проверяется и обсуждается людьми. Два набора данных OpenAI показывают, сколько человеческой работы требуется для этого и где она дает сбои; общедоступные доски вакансий обучающих платформ ИИ показывают, как будет выглядеть эта работа в октябре 2026 года.
Как работает выставление оценок
SWE-bench, эталонный тест, который стал стандартным числом при запуске пограничных моделей, превращает решенные проблемы GitHub из 12 репозиториев Python с открытым исходным кодом в задачи. В отчете OpenAI за февраль 2026 года этот цикл описан:
Модель получает текст проблемы и репозиторий в том виде, в котором они были до исправления. Он никогда не видит тестов.
Пишет патч.
Исправление выполняется с использованием двух наборов тестов: тестов, которые терпят неудачу в немодифицированном коде и проходят после устранения проблемы, и регрессионных тестов, которые проходят до и после.
Задача считается решенной только в том случае, если все они пройдены.
Таким образом, оценщиком являются все тесты, поставляемые с исходным запросом на включение. Они были написаны для проверки исправлений одного человека, а не всех действительных исправлений.
Ошибка первая: тесты, которые отклоняют правильный код
Тест, написанный для одного исправления, может провалить другое исправление, столь же правильное. В Ау