Введение В своем последнем посте я показал, как запустить LLM с воздушным зазором, используя Ollama, на одной машине. Это прекрасно работает для одного человека, но как только целая команда или даже несколько команд захотят использовать модели, вам понадобится что-то более надежное...
Введение
В своем последнем посте я показал, как запустить LLM с воздушным зазором, используя Ollama, на одной машине. Это прекрасно работает для одного человека, но как только целая команда или даже несколько команд захотят использовать модели, вам понадобится что-то более надежное: параллельные запросы, ключи API для каждого пользователя, отслеживание затрат и единая защищенная точка входа.
В этой статье будет показано, как я именно это настроил в Kubernetes, используя три строительных блока:
vLLM в качестве сервера вывода, который фактически запускает модель на графическом процессоре.
LiteLLM в качестве шлюза перед ним, который обрабатывает ключи API, маршрутизацию и отслеживание расходов.
Контроллер Ingress как единая точка входа, завершающая TLS.
Поток запроса выглядит следующим образом:
Клиент ──HTTPS──► Вход ──► LiteLLM (проверка ключа API) ──► vLLM (GPU)
В качестве примера модели я использую Qwen3.8-27B в NVFP4, который прекрасно подходит для одного графического процессора емкостью 40 ГБ.
Информация: я запускаю это в кластере VMware Tanzu (VKS) с виртуальными графическими процессорами NVIDIA, но все, что показано здесь, работает на любом варианте Kubernetes с узлами графического процессора, будь то AKS, EKS, GKE или кластер на голом железе.
Почему бы просто не использовать Олламу?
Справедливый вопрос, поскольку в прошлый раз я использовал именно Олламу. Короткий ответ: параллелизм. Оллама отлично подходит для одиноких нас.