В просьбе «давайте просто развернём свою LLM на 1Т параметров» больше всего вопросов к слову «просто». Допустим, модель уже работает. Теперь чаты, длинные документы и агенты делят одни и те же мощности. Надо решить, кто подождёт, чем занять...
В просьбе «давайте просто развернём свою LLM на 1Т параметров» больше всего вопросов к слову «просто». Допустим, модель уже работает. Теперь чаты, длинные документы и агенты делят одни и те же мощности. Надо решить, кто подождёт, чем занять ресурсы между пиками и как проверить, что очередная оптимизация не испортила ответы. На Saint HighLoad++ я разбирал эти задачи, постепенно достраивая схему платформы. В статье сделаем так же.