Три модели с точностью 95%. Почему их цепочка может дать только 85%?

Например, один участник выбирает ветку кошек, другой - собак. Система может сохранить обе ветви, запросить более качественное изображение или передать случай человеку. Для этого в архитектуре заранее нужны доступ к исходному объекту, возможность пересмотра маршрута и ограничение числа дополнительных попыток. Если такой возможности нет, обнаруженное несогласие останется красивой записью в журнале. Согласие тоже не даёт гарантии. Все участники могут уверенно повторить одну ошибку. Поэтому проверять нужно конкретный вопрос: помогает ли несогласие выделять ошибки лучше, чем более дешёвый сигнал от одной модели, при сопоставимом бюджете? Работы по deep ensembles дают основания исследовать ансамбли как способ оценки неопределённости. Но в них полезное разнообразие возникает и при обучении сетей одной архитектуры. Отдельно авторы Rethinking Mixture-of-Agents показывают, что объединение ответов разных LLM не всегда выигрывает у объединения нескольких ответов одной сильной модели.