Вы когда-нибудь задумывались, что происходит внутри нейросети, пока она пишет ответ? Языковые модели всегда, по вашему первому запросу, выдают красивые и логичные ответы, будто они действительно понимают, о чём говорят. Но за этим красивым ...
Вы когда-нибудь задумывались, что происходит внутри нейросети, пока она пишет ответ? Языковые модели всегда, по вашему первому запросу, выдают красивые и логичные ответы, будто они действительно понимают, о чём говорят. Но за этим красивым ответом скрывается всего лишь удачная последовательность чисел, которая угадывает следующее слово, а не осмысливает его.
И вроде бы всё отлично, какие тут проблемы? Какая разница, что там внутри и как нейросеть пришла к такому ответу, если сам ответ хороший? Проблема в том, что если мы не видим, о чём модель думает до того, как выдаст готовый ответ, мы не сможем поймать её на скрытых манипуляциях, галлюцинациях или прямом обмане. Как прочитать эту информацию? Как поймать модель на ошибках? И что вообще происходит внутри черного ящика нейросети?