Статьи 🔍 AI Gateway: контроль затрат, аварийное переключение и новый риск Конструкция шлюза AI LiteLLM, которая превращает расходование токенов и инциденты с поставщиками в контролируемые сбои. Он охватывает создание виртуальных ключей с использованием max_budget для каждого ключа (возврат сверх бюджета 400...
Статьи
🔍 AI Gateway: контроль затрат, аварийное переключение и новый риск
Конструкция шлюза AI LiteLLM, которая превращает расходование токенов и инциденты с поставщиками в контролируемые сбои. Он охватывает создание виртуальных ключей с использованием max_budget для каждого ключа (превышение бюджета возвращает 400, пока другие ключи продолжают работать), маршрутизацию на основе использования с объявленными резервными вариантами и повторными попытками, проверку кэширования ответов с поддержкой Redis и атрибуцию расходов Prometheus/OTel через /metrics/. В заключительном разделе упоминается новый риск: шлюз становится критическим путем, поэтому закрепление версии по дайджесту образа и работоспособности/готовности Kubernetes является обязательным.
🔍 Регрессия пропускной способности APISIX: за пределами графика пламени
Исследование причин регрессии, затраты которой скрыты в общих путях, диспетчеризации интерпретатора, трассировках JIT, распределении и кадрах вызывающего объекта. Он сочетает в себе профилирование eBPF с частотой 500 Гц, подсчет вызовов на этапе запроса, корреляцию LuaJIT jit.attach трассировки событий запуска/остановки/прерывания, проверку jit.dump и парные A/B-тесты. Настраиваемая сборка APISIX выявила девять сканирований по глобальным правилам более 100+ плагинов на каждый запрос и нормализованный разрыв в пропускной способности на 43,1%, что мотивирует кешированную фильтрацию и устранение работы с отключенными функциями.
🔍 Создание кошелька