TL;DR: при OLLAMA_MAX_LOADED_MODELS=1 запрос модели, которая не загружена, заставляет Ollama планировать выгрузку загруженной модели, как только она простаивает, и запрос ожидает. Если во время этого ожидания поступит запрос на загруженную модель и машина...
TL;DR: при OLLAMA_MAX_LOADED_MODELS=1 запрос модели, которая не загружена, заставляет Ollama планировать выгрузку загруженной модели, как только она простаивает, и запрос ожидает. Если во время этого ожидания поступает запрос загруженной модели и содержит параметр Keep_alive, это значение заменяет ожидающую выгрузку: когда загруженная модель простаивает, Оллама устанавливает таймер поддержания активности вместо выгрузки, и запрос другой модели ожидает всего Keep_alive. На Ollama 0.40.8 на ЦП вторая модель отвечала через 9 секунд, когда мешающий запрос не имел Keep_alive, и не отвечала в течение 150 секунд, когда у него было «keep_alive»: «30m». Никаких ошибок нет, и /api/ps показывает работоспособную загруженную модель. Отправка Keep_alive: 0 для загруженной модели освободила ожидающий запрос через 1,5 секунды. Восходящий поток: ollama/ollama#19182, с исправлением, предложенным в #19190.
Симптом
Одноразовый контейнер LXC, Ollama 0.40.8 из релиза GitHub, только CPU, две небольшие модели и настройки репортера:
OLLAMA_MAX_LOADED_MODELS=1 OLLAMA_NUM_PARALLEL=4 OLLAMA_KEEP_ALIVE=30 м OLLAMA_DEBUG=1
qwen3:0.6b загружен. Те же три запроса, что и в отчете:
длинная генерация на загруженной модели (num_predict 400),
три секунды