LLM не читают ваше приглашение. Они это считают.

Вы когда-нибудь вводили подсказку в ChatGPT или Claude и задавались вопросом, как эта штука на самом деле вас понимает? Спойлер: он не читает текст так, как мы. Мне стало любопытно, и я начал изучать, как модели большого языка (LLM) обрабатывают ввод, и это изменило то, как я пишу подсказки. Весь пост в одном предложении: модель никогда не видит ваш текст, она видит список целых чисел, называемых токенами, и именно за этот список вам выставляются счета и учитывается ваш контекстный лимит. Краткая версия LLM не работают с необработанным текстом. Они превращают его в токены, которые представляют собой просто числа, используя такие алгоритмы, как кодирование пар байтов. Токены — это валюта ИИ. Вы платите за токен, а не за персонажа. Ниже я показываю, как текст превращается в токены, токены превращаются обратно в текст, и почему все это имеет значение для стоимости и качества. Там есть код, так что вы можете попробовать сами. Что такое токен и почему вас это должно волновать? Если вы когда-нибудь просматривали свой счет OpenAI (и вздрагивали), вы заметили, что с вас взимаются токены, а не слова. Так что же такое? Представьте себе предложение, разрезанное на небольшие кусочки. Иногда кусок — это целое слово, иногда полслова, иногда запятая. Каждая часть является жетоном. Именно так модели, такие как GPT-4o или Llama, воспринимают текст.