MTP (Multi-Token Prediction) — это метод, который позволяет языковой модели прогнозировать несколько токенов вперед во время генерации текста, а затем подтверждать несколько токенов одновременно, когда эти прогнозы оказываются верными. Вы когда-нибудь пользовались чатом с искусственным интеллектом и...
MTP (Multi-Token Prediction) — это метод, который позволяет языковой модели прогнозировать несколько токенов вперед во время генерации текста, а затем подтверждать несколько токенов одновременно, когда эти прогнозы оказываются верными.
Вы когда-нибудь использовали чат с искусственным интеллектом и думали: «Мне бы хотелось, чтобы этот ответ был немного быстрее»? Это чувство усиливается с моделями «мышления», которые тщательно рассуждают, прежде чем ответить, или с агентами кодирования, которые действуют методом проб и ошибок. Для систем искусственного интеллекта, которые сжигают тысячи, даже десятки тысяч токенов, чтобы получить хороший ответ, скорость генерации напрямую влияет на пользовательский опыт.
Так почему же генерация текста ИИ занимает так много времени? Причина проста: LLM могут производить только один токен за раз. Чтобы определиться со следующим словом, модели приходится заново запускать масштабные вычисления с нуля, принимая во внимание все, что было сгенерировано на данный момент. Эти затраты складываются, и чем дольше ответ, тем дольше вы ждете.
Возникает естественный вопрос: вместо того, чтобы пересчитывать все по одному слову, почему бы не вычислить несколько слов вперед за тот же проход? Это именно то, что делает MTP. Каждый раз, когда модель генерирует слово, в ходе того же прямого прохода она также вычисляет прогноз для w.