MuonGS: увеличение скорости на 15 % при предварительной тренировке LLM за счет смягченного контроля нормы веса

MuonGS: увеличение скорости на 15 % при предварительной тренировке LLM за счет смягченного контроля нормы веса В мире предварительного обучения модели большого языка (LLM), где ставки высоки, эффективность имеет решающее значение. Когда вы обучаете модель на триллионах токенов, повышение эффективности оптимизатора на 5 % может сэкономить миллионы долларов на вычислительных затратах. Сегодня в семействе оптимизаторов «Мюон» появился новый претендент: MuonGS. Опубликованная 27 октября 2026 года исследователями Афанасиосом Глентисом, Давеем Ли и Минги Хонгом книга MuonGS (Gram-Schmidt) представляет сложный способ управления ростом нормы веса. Ослабляя строгие ограничения, обнаруженные в предыдущих версиях оптимизатора, MuonGS обеспечивает примерно 15% ускорение в эквиваленте токенов на плотных моделях и показывает хорошие результаты на архитектурах Mixture-of-Experts (MoE). Проблема: снижение эффективной скорости обучения Чтобы понять, почему MuonGS является таким значительным шагом вперед, нам сначала нужно взглянуть на проблему «эффективной скорости обучения». При глубоком обучении фактический прогресс модели определяется не только номинальной скоростью обучения ($\eta$), которую вы установили в своем файле конфигурации. Она определяется отношением скорости обучения к величине (Фробениус