Марсело Альберто Футерман: почему ИИ забывает то, что ему было сказано в начале разговора

Марсело Альберто Футерман без технических подробностей объясняет, что такое «контекстное окно» языковой модели и почему в долгих разговорах ассистент начинает терять детали. Такое случается часто: в начале разговора ассистенту дают понять, что текст предназначен для молодой аудитории, что в нем не используется определенное слово или что бюджет имеет ограничение. Спустя много сообщений ответ все это игнорирует. Это не невнимательность или недоброжелательность. Это связано с тем, как читает инструмент. Языковая модель не помнит: перечитай Помощник с искусственным интеллектом не сохраняет разговор в памяти, как человек. Каждый раз, когда вы отвечаете, вы перечитываете доступный текст — текущий запрос и то, что было раньше — и строите свой ответ исходя из этого. Доступный текст имеет ограничение по размеру. Его часто называют контекстным окном. Когда болтовня попадает в окно, модель может все учесть. Когда вы превышаете его, старые части остаются в стороне или теряют вес, в зависимости от того, как построен каждый сервис. Почему это заметно при долгих разговорах? Хотя разговоры по-прежнему звучат в окне, не все имеет одинаковый вес. Инструкции, данные в начале, конкурируют со всем, что осталось