Ваш судья LLM предвзят: три исправления, прежде чем вы поверите его оценкам

Вы назначаете LLM в качестве судьи для оценки вашей функции искусственного интеллекта. На приборной панели указано, что качество выросло на 12%. Вы отправляете. Потом пользователи жалуются, что новая версия хуже. Что случилось? Очень часто с моделью вашего приложения все было в порядке. Судья неправильно измерил вещь. Судьи LLM полезны, но у них есть предсказуемые предубеждения, и если вы не ориентируетесь на них, ваша оценка незаметно вознаграждает неправильные ответы. Совет по искусственному интеллекту в этот понедельник: относитесь к своему судье LLM как к любой другой модели, находящейся в производстве. Проверьте это, прежде чем доверять этому. Три предубеждения, которые проявляются больше всего В статье MT-Bench / Chatbot Arena (Чжэн и др., 2023) было обнаружено, что такие сильные судьи, как GPT-4, могут достичь согласия с предпочтениями человека более чем на 80%, примерно на том же уровне, которого люди достигают друг с другом. В том же документе также документированы виды отказов: Предвзятость позиции. При парных сравнениях судья склонен отдавать предпочтение ответу в зависимости от того, где он появляется (часто первый). Ван и др. показал, что можно изменить рейтинг, просто поменяв порядок кандидатов. Предвзятость многословия. Более длинные и подробные ответы оцениваются выше, даже если они не являются более правильными. Самостоятельное предпочтение. Модель имеет тенденцию оценивать свои собственные результаты (или результаты, которые выглядят