Большая языковая модель (LLM) — это комбинация огромной нейронной сети Transformer (с конструкцией вы подробно познакомитесь позже) и стоек высокопроизводительных графических процессоров. Для бизнес-лидера сегодня большой вопрос заключается не столько в том, как работает LLM...
Большая языковая модель (LLM) — это комбинация огромной нейронной сети Transformer (с конструкцией вы подробно познакомитесь позже) и стоек высокопроизводительных графических процессоров. Для бизнес-лидера сегодня большой вопрос заключается не столько в том, как работает LLM внутри, сколько в том, как его использовать, а это означает понимание современного ландшафта API.
Проще говоря: API — это официант между вашим приложением и кухней. Ваше приложение пишет заказ (подсказка), официант несет его на кухню (модель), а готовое блюдо (ответ) возвращается обратно. Вам никогда не придется владеть кухней или управлять ею.
Схема: приложение или агент отправляет запрос в API модели. Модель генерирует ответ по одному токену и передает его обратно. Смотрите анимационную версию.
Как выглядит вызов LLM API
Вы отправляете модели сообщение и получаете обратно сгенерированный текст. Запрос представляет собой небольшой фрагмент структурированных данных. Это типичная форма (названия полей немного различаются у разных поставщиков, поэтому воспринимайте это как иллюстрацию):
импортировать JSON
# Форма типичного запроса LLM API. Имена полей немного различаются у разных поставщиков.
запрос = {
"модель": "выбранная вами модель",
"сообщения": [
{"role": "system", "content": "Вы осторожны