Вы запускаете небольшую модель для завершения кода и большую для чата. Каждый раз, когда один инструмент запрашивает другой, ваш компьютер выгружает модель, загружает следующую, и вы ждете. Off Grid AI Desktop в Windows может хранить в памяти несколько моделей чата одновременно...
Вы запускаете небольшую модель для завершения кода и большую для чата. Каждый раз, когда один инструмент запрашивает другой, ваш компьютер выгружает модель, загружает следующую, и вы ждете. Off Grid AI Desktop в Windows может одновременно хранить в памяти несколько моделей чата. Запрос, который называет один из них, направляется прямо к нему, уже загруженный. Прежде чем сохранить, приложение сопоставляет набор с видеопамятью вашей видеокарты и оперативной памятью и сообщает вам, не подходит ли он.
Что вам нужно
ПК с Windows и процессором x64. Загрузка Windows представляет собой установщик x64.
Off Grid AI Desktop 0.0.55 или новее. Функция Keep Loaded включена в текущую стабильную версию 0.0.55. Загрузите Off Grid AI Desktop для Windows.
Две или более модели чата загружены на экран «Модели» приложения. И текстовые модели, и модели видения имеют значение.
Для скорости графического процессора на карте NVIDIA: дополнительная загрузка NVIDIA. Откройте «Настройки» > «Настройка и работоспособность» и найдите «Использовать графический процессор NVIDIA». Одна загрузка добавляет механизмы CUDA; перезапустите приложение, когда появится надпись «Установлено». Перезапустите приложение, чтобы использовать его. Без карты NVIDIA вместо этого приложение использует свой Vulkan или процессорный движок.
Нет счета и нет оплаты. Keep Loaded — это часть шлюза в бесплатном приложении.
Как приложение решает, что подойдет вашему P