Опубликован предварительный доклад о том, что невозможность полной интерпретации LLM переоценена. Автор Nick Cammarata в своей статье на сайте goodfire.com утверждает, что его эксперименты показывают, что можно отследить формирование ответа...
Опубликован предварительный доклад о том, что невозможность полной интерпретации LLM переоценена. Автор Nick Cammarata в своей статье на сайте goodfire.com утверждает, что его эксперименты показывают, что можно отследить формирование ответа LLM, что позволяет изменить подходы к обучению и верификации моделей. сам автор называет текст гипотезой, основной статьи с полным описанием экспериментов пока нет. Но как обычно громкий заголовок и сильные утверждения привели к множеству пересказов, где гипотеза превратилась в факт.
Ниже быстрый взгляд на гипотезу.