Как маршрутизировать запросы LLM по сложности задач (практическое руководство по сокращению расходов на API без потери качества)

Если вы запускаете языковые модели в рабочей среде, велика вероятность, что в вашем проекте будет доминировать одна пограничная модель, которая стала моделью по умолчанию, поскольку именно на ней была построена демонстрационная версия. Маршрутизация по сложности задач — это решение: отправляйте каждый запрос наиболее экономичной модели, которая может его выполнить, и зарезервируйте дорогой уровень для работы, которая в нем действительно нуждается. Это практическое руководство по настройке, основанное на том, что мы делаем внутри Weio, компании, управляемой искусственным интеллектом. Ничто здесь не нуждается в особых рамках. Вам нужен вопрос классификации, политика двух столбцов, правило эскалации и одна метрика. Шаг 1: выберите вопрос классификации «Сложность» неопределенна, и каждая задача кажется важной для человека, которому она принадлежит. Вам нужен один вопрос, на который разработчик или фрагмент кода может ответить за секунду. Мы задаем вопрос: определен ли уже путь? Если запрос выполняет план, который уже существует в спецификации, заявке, описании различий или шаблоне, то меньшая модель выполняет его хорошо, и ошибки, которые она допускает, можно легко обнаружить с помощью набора тестов или рецензента. Если запрос определяет путь, или неправильный ответ будет дорого заметить и отменить,