Почему счета за AI API выросли в 10 раз за один квартал

Расходы на API модели Foundation в 2025 году во всем мире достигнут 8,4 миллиарда долларов, а в 2026 году приближаются к 15 миллиардам, но цифра, которая имеет значение для любой отдельной команды, меньше и страннее: большинство производственных приложений ИИ тратят от 40 до 70 процентов своего бюджета токенов, и никто этого не замечает. Потери незаметны в разработке, где разговоры длятся три хода, а индекс поиска содержит сорок документов. Это проявляется только тогда, когда приходит реальное использование, и к тому времени это уже не проблема биллинга, а проблема архитектуры. Схема эскалации достаточно последовательна, чтобы можно было следить за ней. Прототип стоит менее 50 долларов в месяц. Пилот стоит от 500 до 2000 долларов. Затем производство падает, и счета вырастают в 10–50 раз за один квартал. Ничего не сломалось. Та же самая конструкция, которая была дешевой при небольших объемах, является дорогой при больших объемах, потому что кривая затрат более крутая, чем у любой другой линии инфраструктуры, с которой имело дело большинство разработчиков. Куда на самом деле уходит бюджет токена API языковой модели взимают плату за каждый токен, а токены накапливаются в местах, которые не отображаются ни в одной проверке кода. Каждый символ системного приглашения отправляется с каждым запросом. Каждое сообщение в истории разговоров повторно отправляется с помощью e