Запуск нового 120B Nemotron-3.5-Super от NVIDIA на графическом процессоре объемом 8 ГБ — пропуск нулей и обнаружение настоящего узкого места

15 октября NVIDIA выпустила Nemotron-3.5-Super: 120-битную модель, созданную экспертами, 75 ГБ даже в их 4-битном формате NVFP4. Обычный ответ для карты на 8 ГБ — «нет на вашем оборудовании». Два дня спустя он запускается на моем домашнем ПК — RTX 5060 с 8 ГБ — как обычная модель чата в Open WebUI со скоростью ~8 токенов/с, он считывает изображения, и его ответы соответствуют эталонной реализации Hugging Face. Код: https://github.com/helgard-orlm/nemotron-super-8gb Кто и что сделал заранее: я выбрал модель, поставил цель и сделал выводы (включая идею использования нулей после ReLU², ниже). Движок, ядра, сервер и измерения были написаны Клодом (Anthropic) во время моих сессий. «Мы» ниже означает нас двоих. Это третья модель в серии на одной коробке — после Qwen3.8-Flash-Next, 133 ГБ, 11 ток/с и DeepSeek-V4.1-Flash, 510 ГБ, 2,4 ток/с. Та же идея, другая модель и два новых трюка. Машина RTX 5060 8 ГБ (Blackwell, PCIe 5.0 ×8), Core Ultra 5 225F, 32 ГБ DDR5, накопитель NVMe Gen5, используемый только для файлов моделей. Ничего экзотического. Единственное число, которое имеет значение: байты на токен. В модели со смесью экспертов большинство весов являются экспертами, и каждый токен использует лишь несколько из них.