Почему Meta обучила небольшую модель 8B на 15 триллионах токенов и почему это дешевле, чем кажется

Есть эмпирическое правило из известной статьи: для достижения наилучшего результата на доллар обучения дайте модели около 20 токенов текста для каждого имеющегося у нее параметра. Модель с 8 миллиардами параметров, умноженная на 20, равна 160 миллиардам токенов. В собственном сообщении в блоге Meta «оптимальная для Шиншиллы» сумма для модели 8B составляет около 200 миллиардов. Llama 3 8B был обучен на более чем 15 триллионах. Это примерно в 75–95 раз больше, чем указано в правиле. Либо Мета потратил впустую нелепое количество вычислений, либо правило отвечает на другой вопрос, отличный от того, который задавал Мета. Я хотел выяснить, какой именно. Правило касается стоимости строительства В статье Chinchilla (2022 г.) задавался вопрос: если у меня есть фиксированный объем вычислений, которые я могу потратить на обучение, какое сочетание размера модели и данных дает лучшую модель? Ответ заключался в том, чтобы вырастить и то, и другое вместе. Их модель 70B, обученная на 1,4 триллионах токенов, превзошла старую модель 280B Gopher, которая использовала всего 300 миллиардов токенов. Но посмотрите, что этот вопрос упускает из виду. Модель обучается один раз. Потом привыкает. Возможно, миллионами людей в течение многих лет. Итак, есть два законопроекта: Сборка: около 6 × параметров × токенов FLOP, выплачивается один раз. (Флопы — это просто отдельные умножения и сложения. Тренировка — это тренировка пресса.