Вы видели заголовки. «Обучение большой модели стоит десятки миллионов долларов». Хорошо, но почему эта цифра? Откуда это взялось? Я хотел посчитать сам, используя формулу, достаточно короткую, чтобы уместиться на салфетке, а потом проверить ответ...
Вы видели заголовки. «Обучение большой модели стоит десятки миллионов долларов».
Хорошо, но почему эта цифра? Откуда это взялось? Я хотел посчитать сам, используя формулу, достаточно короткую, чтобы уместиться на салфетке, а затем сверить ответ с чем-то реальным.
Оказывается, можно подобраться на удивление близко. А места, к которым не подходишь близко, — самое интересное.
Четыре слова, которые тебе нужны
После этого никакого жаргона, обещаю.
Параметры: числа внутри модели, которые корректируются во время обучения. «8B» означает 8 миллиардов из них. Больше обычно означает более производительное и более дорогое.
Токены: небольшие фрагменты текста, которые читает модель. Примерно по три четверти слова каждый. Данные обучения считаются в токенах.
FLOP: операции с плавающей запятой, то есть отдельные умножения и сложения. Обучение, по сути, представляет собой абсурдное количество таких занятий.
GPU-час: один графический процессор работает в течение одного часа. Арендуйте 1000 графических процессоров на 10 часов, и вы израсходуете 10 000 графических часов.
Формула салфетки
Вот оно:
обучающие FLOP ≈ 6 × параметры × токены
Вот и все. Размер модели, умноженный на размер данных, умноженный на 6.
Откуда взялась цифра 6? Обычное объяснение: для каждого токена модель выполняет около 2 операций на каждый параметр.