Я уже некоторое время использую MiMo-V2.5 от Xiaomi для выполнения рабочих задач по кодированию и анализу документов, и интересен не лист тестов, а то, что стандартная модель и модель Pro оптимизированы для совершенно разных...
Я уже некоторое время использую MiMo-V2.5 от Xiaomi для выполнения задач по кодированию и анализу документов, и интересен не эталонный лист, а то, что стандартная модель и модель Pro оптимизированы для совершенно разных задач. Стандартный вариант — мультимодальный и дешевый за токен; Pro — это только текст, триллион параметров и примерно в 3,1 раза дороже опубликованных цен Xiaomi. Выбор между ними — это решение о маршрутизации, а не о качестве.
Вот что на самом деле имеет значение, если вы собираетесь внедрить один из них в производственный процесс.
Архитектура: что дает вам 310B/15B
MiMo-V2.5 — это разреженный MoE с общим количеством параметров 310B и ~ 15B активных на токен. Маршрутизатор выбирает 8 из 256 экспертов для каждого токена, поэтому вы получаете доступ к гораздо большему пулу параметров, чем простая модель с плотностью 15 байт, без полной оплаты вычислительных ресурсов.
Это не означает, что самостоятельный хостинг дешев. Вам по-прежнему необходимо хранить и обслуживать все веса 310B, а экспертная маршрутизация и пропускная способность межсоединений становятся реальными ограничениями. Активные параметры — это вычислительные показатели, а не показатели памяти.
Основа состоит из 48 слоев: 1 плотного плюс 47 МО. Внимание чередует слои скользящего окна и глобальные слои в соотношении 5:1 — 39 SW.