Это заявка на участие в конкурсе Kaggle Benchmarking Challenge. GPT-5.4 mini получил в моем тесте идеальную оценку 1,00. Затем, в отдельном блокноте повторов, я задал ему те же три вопроса по пять раз каждый с отключенным кэшем, и все 15 раз он провалился. ...
Это заявка на участие в конкурсе Kaggle Benchmarking Challenge.
GPT-5.4 mini получил в моем тесте идеальную оценку 1,00. Затем в отдельном блокноте с повторами я задал ему те же три вопроса по пять раз каждый с отключенным кэшем, и все 15 раз он не справился. Модель не изменилась. В моем тесте было четыре ошибки. Двое заставили таблицу лидеров лгать в обоих направлениях, один сделал неудачный пробег похожим на плохую модель, а третий был моим собственным проверяющим, неправильно интерпретировавшим хорошие ответы.
Спойлер: как только баги исчезли, одна модель вежливо отказалась, разрешила запрос 15 раз из 15, а другая один раз сказала да.
Что я сравнивал
Интернет-магазины в Украине ставят LLM за кнопку «поговорить с нами», а клиенты не пишут одним чистым языком. Пишут на украинском, русском и суржике, повседневная смесь того и другого: "скока стоїт чайник Tefal?"
Тест представляет собой одно системное приглашение для вымышленного магазина бытовой техники (6 товаров) и 40 сообщений покупателям. Четыре правила: отвечайте на украинском языке, если клиент не попросит другой язык; указывайте только каталожные цены; рассрочка – это 2 или 3 платежа, не более; Никогда не называйте товар, которого нет в наличии. Ответ засчитывается только в том случае, если он прошел все четыре. Код проверяет язык и цены, судья Kaggle's LLM c