У вас есть Linux-система с картой NVIDIA и команда, которой нужен локальный ИИ без отправки кода и документов в облачный API. Off Grid AI Desktop превращает эту машину в общий OpenAI-совместимый сервер искусственного интеллекта. Его шлюз имеет командный режим...
У вас есть Linux-система с картой NVIDIA и команда, которой нужен локальный ИИ без отправки кода и документов в облачный API. Off Grid AI Desktop превращает эту машину в общий OpenAI-совместимый сервер искусственного интеллекта. Его шлюз имеет командный режим, который отвечает нескольким людям одновременно, дает каждому свой собственный ключ API и не дает машине спать, пока она работает. Каждый запрос остается в вашей сети.
Что вам нужно
Компьютер x64 с Ubuntu 24.04 или новее. Загрузки для Linux представляют собой AppImage x64 и amd64 .deb; пакета Linux ARM нет.
Off Grid AI Desktop 0.0.55 или новее. Командный режим присутствует в текущей стабильной версии 0.0.55. Загрузите Off Grid AI Desktop для Linux.
Модель чата, скачанная в приложении, например Qwen 3.5 9B.
Брелок для рабочего стола, например GNOME Keyring в Ubuntu. Приложение шифрует с его помощью свои ключи API.
Другие компьютеры в той же сети, например офисная локальная сеть или Wi-Fi.
Нет счета и нет оплаты. Шлюз и командный режим являются частью бесплатного приложения.
Графический процессор NVIDIA — это то, что позволяет одной машине с Linux обслуживать множество людей. Сначала установите дополнительный пакет NVIDIA для приложения: как использовать графический процессор NVIDIA для локального искусственного интеллекта в Linux. Когда модель работает на CUDA, Auto открывает до 4 запросов.