Кластерная сеть InfiniBand AI на практике: топологии «толстого дерева», архитектура, оптимизированная для железных дорог, адаптивная маршрутизация (AR)

[!NOTE] Краткое описание (TL;DR) Неблокирующая оптимизация Fat-Tree и Rail: разрабатывает неблокирующие топологии 1:1 и кабельную разводку с выравниванием по шине для ограничения коллективного однорангового трафика графического процессора в пределах выделенных фабрики. Адаптивная маршрутизация и SHARP: устраняет «горячие точки» статической маршрутизации посредством динамического многопутевого управления на уровне пакетов и переносит математические сокращения на ASIC коммутатора через SHARP. Глубокий обзор аппаратного обеспечения: читайте вместе с архитектурой InfiniBand и управлением потоками на основе кредитов. Введение: когда распределенное обучение на 10 000 графических процессоров попадает в «стену связи» В главе 10 нашего мастер-класса «Основы архитектуры InfiniBand: скорость физических каналов, управление потоком каналов на основе кредитов и оркестровка структуры диспетчера подсети» мы подробно рассмотрели скорости физических каналов, аппаратное управление потоком кредитов и централизованный диспетчер подсети. В 2026 году, в эпоху передовых моделей больших языков (LLM) с триллионом параметров и мультимодальных архитектур, кластеры на 10 000 графических процессоров представляют собой базовую инфраструктуру для лабораторий искусственного интеллекта. Для обучения моделей такого масштаба необходимо объединить тензорный параллелизм (TP), конвейерный параллелизм (PP) и параллелизм данных (DP/ZeRO-3): Внутри узла: 8 графических процессоров обмениваются данными по высокоскоростному протоколу N.