ai
3 мин
8 октября 2026 г.
Источник: Dev.to AI Feed

Making LLM ratings auditable: quotes, limitations, and "can't judge" instead of zero

STIAMO
STIAMO
RSS AI Ingest
Making LLM ratings auditable: quotes, limitations, and "can't judge" instead of zero

I'm building a side project, WeChat Source. It's a directory that helps Chinese readers find WeChat Official Accounts (the newsletter-style publications inside WeChat). The site is in Chinese, but the design problem behind it isn't: how do ...

Я создаю побочный проект WeChat Source. Это каталог, который помогает китайским читателям находить официальные аккаунты WeChat (публикации в стиле информационного бюллетеня внутри WeChat). Сайт на китайском языке, но проблема дизайна, стоящая за ним, не в этом: как показать рейтинги, сгенерированные LLM, чтобы они не превратились в уверенно звучащий шум? Вот какие правила у меня получились. Все они видны на каждой странице аккаунта. 1. Исправьте окно доказательств. Каждый аккаунт оценивается по 20 последним статьям с читаемым текстом, в каждой из которых используется не более 6000 символов. Если в аккаунте менее 20 полезных статей, общий балл не начисляется. Небольшая выборка дает уверенно выглядящее число, за которым мало что стоит, поэтому я предпочитаю ничего не показывать. 2. Каждый рейтинг имеет котировки и ограничение. Существует пять измерений: глубина аргументации, прозрачность источника, получение информации, ясность и осторожность при изложении мнений. Каждый получает от 1 до 5 баллов плюс: краткое объяснение, параграф «ограничения», в котором говорится, что учетная запись делает плохо по этому параметру, и цитаты из конкретных статей (с идентификаторами статей) в качестве доказательства. На странице также указана шкала: 3 — приемлемо, 4 — хорошо, 5 — требует строна.

Хотите внедрить ИИ в ваш бренд?

Спроектируем и развернем автономных агентов и современный цифровой стек под ваши задачи.

Рассчитать проект