Урегулируют ли рейтинги ИИ 66 терминальных задач и 45% личного веса? Чтение индекса искусственного анализа v4.3

ТЛ;ДР Индекс искусственного интеллекта версии 4.3 (публикационная статья от 7 сентября 2026 г.) увеличил вес оценок с личными заданиями или ответами с 40% до 45%. В опубликованной таблице весов четыре из десяти оценок имеют эти 45%: AA-Briefcase (15), AutomationBench-AA (5), AA-Omniscience (10+5) и CritPt (10). Частные наборы тестов решают одну проблему: игры и заражение. Они не затрагивают другого: шума выборки. Terminal-Bench 4.0 содержит 66 задач, каждая из которых запускается три раза, и сообщается средний результат = 1. При 66 задачах оценка одной модели имеет стандартную ошибку примерно от 3,5 до 6 баллов, в зависимости от того, как распределяется сложность задачи. Сообщаемый разрыв в 7,1 балла между двумя лучшими (59,1 против 52,0) составляет всего лишь примерно 1,2–1,5 стандартных отклонения от смоделированного разрыва (4,5–5,8 балла). В иллюстративном моделировании (допущения ниже) два верхних заказа пережили новый розыгрыш 66 задач в 88–93% запусков. Порядок Fable 5.1 и Opus 5 (3,0 балла) выжил только с 69% до 74%. Отставание от GPT-5,6 Sol в 19,2 балла сохранилось примерно в 100% заездов. Практическое правило: рассматривайте разрыв как рейтинг только тогда, когда вы можете сказать, сколько задач его создало. Короткий скрипт ниже воспроизводит каждое число.