Автономное уклонение от ограничения скорости: однократный резервный интерфейс командной строки для нескольких провайдеров LLM

Автономное уклонение от ограничения скорости: однократный резервный интерфейс командной строки для нескольких провайдеров LLM Предыстория: почему «одноразовый CLI» вместо резидентного сервера? При интеграции функций LLM в продукт первый архитектурный выбор, который приходит на ум, — это размещение выделенного прокси-сервера маршрутизации или шлюза API в восходящем направлении. Для этой цели доступны отличные прокси с открытым исходным кодом, такие как LiteLLM. Однако, как старшие инженеры, работающие в производственных средах, мы знаем, что это «резидентное промежуточное программное обеспечение» иногда создает совершенно новые точки отказа: Затраты на масштабирование и мониторинг работоспособности самого прокси Повышенная сложность конвейера развертывания. Утечки памяти контейнера и исчерпание пула соединений «Нет ли более примитивного, абсолютно нерушимого метода?» Ответ, к которому я пришел, заключался в одноразовом (одноразовом) скрипте, который принимает входной JSON, завершает резервную маршрутизацию в течение нескольких секунд и просто выдает результат на стандартный вывод. Его можно вызывать как обычный инструмент CLI из пакетных процессов CI/CD, заданий Cron или облегченных бессерверных сред, таких как AWS Lambda. Поскольку он полностью не имеет состояния, понятия масштабирования даже не существует. Следы