Предварительное обучение с нуля на NPU только для вывода: ВКОРЕ-46М-НПУ

TL;DR: VIDRAFT с нуля предварительно обучил небольшую языковую модель на NPU, предназначенном только для вывода, и запустил настоящее обратное распространение ошибки на чипе, который в отрасли считается предназначенным только для вывода. Результат ВКОРЕ-46М-НПУ опубликован на Hugging Face с весами, карточкой модели и сравнительными данными. При обучении на графическом процессоре в идентичных условиях траектории потерь коррелируют на уровне 0,99. Почему обучение на NPU, предназначенном только для вывода, сложно NPU, предназначенные только для вывода, созданы для прямого пути: статические графики, низкая точность, веса как константы. Для обучения требуется обратное: обратный график с сохраненными активациями, состоянием оптимизатора, числовой стабильностью для небольших градиентов и синхронизацией градиентов нескольких чипов. Эти пути обычно не существуют в стеке вывода. Вот почему «NPU не могут выполнять обратное распространение, поэтому они не могут обучаться» стало представлением по умолчанию. Эта работа запускает обратное распространение непосредственно на таком чипе и обучает модель с нуля, без предварительно обученных весов. Доказательства: одна и та же модель, два типа оборудования. Самое убедительное – это методология. Одна и та же модель была обучена с нуля при идентичной инициализации, данных и расписании на 32-чиповом NPU и на графическом процессоре. Две траектории потерь коррелируют на уровне 0,99. Через