В этом дайджесте рассказывается о том, что нового в оценке и наблюдаемости LLM в период с 15 октября 2026 г. по 22 октября 2026 г. Это неделя, когда сам уровень измерений оказался в центре внимания — как вы оцениваете судью, как вы считываете сигнал неопределенности, даже как вы...
В этом дайджесте рассказывается о том, что нового в оценке и наблюдаемости LLM в период с 15 октября 2026 г. по 22 октября 2026 г. Это неделя, когда сам уровень измерения оказался в центре внимания — как вы оцениваете оценку, как вы считываете сигнал неопределенности, даже как вы форматируете контрольный вопрос, — все это, как оказалось, изменило результаты больше, чем ожидалось.
🔥 Основные моменты
Измените число, измените ответ: оценка чувствительности рейтинговой шкалы при оценке текста на основе LLM — замена одной только рейтинговой шкалы меняет вердикты судей LLM.
Выполняйте оценки на 50 % дешевле благодаря оценкам рабочих процессов — пакетные API поставщика вдвое сокращают стоимость больших пакетов регрессии.
Когда неопределенность измеряет риск галлюцинаций RAG? — Неуверенность сигнализирует о галлюцинациях только тогда, когда поиск фактически ограничивает ответ.
Как мы создавали Langfuse Halo — их собственные трассировки выявляли ошибки в схеме инструментов и дорогостоящие несоответствия в кэше.
FairStress: Более глубокая оценка справедливости при принятии решений в LLM — оценка множественного выбора по сравнению со свободной генерацией может перевернуть вердикт о справедливости.
arXiv cs.CL
Измените число, измените ответ: оценка чувствительности рейтинговой шкалы при оценке текста на основе LLM (15 октября 2026 г.)
Изменение одного элемента рейтинговой шкалы — ее диапазона, формата или знака — ши.