Шерлок Холмс: почему предварительная разогрев голосового агента не ускоряет первый ответ

Это один случай из серии о Шерлоке Холмсе. Каждая рецензия — это производственная проблема, которую мне приходилось решать. не стесняйтесь проверять другие блоги. Это началось не как загадка задержки. Это началось как законопроект. Мы предварительно разогреваем голосовой агент перед соединением вызова. Вы отправляете модели запрос заранее и заранее открываете речевые розетки, так что, если человек возьмет трубку, первый ответ уже будет в пути. Вы платите немного вперед, и звонящему не положено сидеть молча, пока все просыпается. В этом вся идея, и долгое время мы считали, что она того стоит. Затем мы посмотрели, куда на самом деле идут деньги LLM. Почти 60% стоимости модели голосового агента составило предварительный заказ. Не те повороты, где кто-то разговаривал с агентом. Запрос, который мы запустили на случай, если они это сделают. Поэтому первый вопрос заключался не в том, был ли предварительный разогрев быстрым. Это был тот, ради кого мы разогревались. Звонки не были разговорами Как только мы разделили дневные звонки на несколько частей, они перестали быть похожими на разговоры, за ускорение которых мы думали платим. Около 28% закончились до того, как агент воспроизвел хотя бы одно сообщение. Еще 63% дошли до приветствия, но ничего не ответили. Звонивший никогда не говорил