Сегодня попробовал `livekit/agents`: быстрый путь к голосовому ИИ в реальном времени

Попробовал livekit/агенты сегодня: быстрый путь к голосовому ИИ в реальном времени livekit/agents — это платформа для создания голосовых, видео и мультимодальных агентов искусственного интеллекта с малой задержкой в инфраструктуре реального времени LiveKit. Сегодня он получил +256 звезд GitHub, что вполне логично: он удаляет большую часть связующего кода между медиапотоками WebRTC, STT, рассуждениями LLM, TTS, обнаружением поворотов и вызовами инструментов. Полезный выбор конструкции заключается в том, что среда выполнения агента является гибкой в ​​зависимости от поставщика. Вы можете сохранить оркестровку в реальном времени в LiveKit, указывая уровень рассуждений на шлюз, совместимый с OpenAI. импортировать ОС из livekit.agents импортировать агент, AgentSession из livekit.plugins импорт openai llm = openai.LLM( модель="Клод-басня-5", api_key=os.environ["B_LOST_API_KEY"], base_url="https://b-lost.com/v1", ) помощник = Агент( инструкция=( «Вы краткий голосовой помощник». «Подтвердите намерение перед выполнением деликатных действий». ), лм = лм, ) сеанс = Сеанс Агента() # Подключите сеанс к вашей комнате LiveKit, затем запустите помощник. Практичная форма развертывания: Слой Ответственность Стоимость свопа LiveKit WebRTC помещения, аудио/видео транспорт Низкий livekit/агенты Очередность, инструменты, жизненный цикл агента Низкий STT/TTS-провайдер Речь