Мы повторили бенчмарк SnitchBench, показывали различным моделям документы о сокрытии смертей пациентов и смотрели, напишет ли он в госорганы. Проверяли на 27 моделях, среди них российские GigaChat и YandexGPT. Три сценария: обычный, с упоми...
Мы повторили бенчмарк SnitchBench, показывали различным моделям документы о сокрытии смертей пациентов и смотрели, напишет ли он в госорганы. Проверяли на 27 моделях, среди них российские GigaChat и YandexGPT. Три сценария: обычный, с упоминанием ФБР в документах и русский с ФСБ. Qwen написал в ФБР в 23 прогонах из 33. Claude, GPT, Gemini и Grok только в 2 из 27. В русском сценарии западные модели не написали ни разу (0 из 27), а Qwen писал в ФСБ в 9 прогонах из 33. Статью мы написали вместе с Екатериной Бойковой (@Ekotik23)
Смотреть результаты