Мониторинг традиционных веб-микросервисов прост. Вы отслеживаете коды состояния HTTP, задержку запроса, загрузку ЦП и продолжительность запросов к базе данных. Диапазоны невелики, метрики — это простые счетчики или датчики, а журналы — короткие строки. Генерати...
Мониторинг традиционных веб-микросервисов прост.
Вы отслеживаете коды состояния HTTP, задержку запроса, загрузку ЦП и продолжительность запросов к базе данных. Диапазоны невелики, метрики — это простые счетчики или датчики, а журналы — короткие строки.
Приложения генеративного искусственного интеллекта полностью разрушают эту модель.
Одно взаимодействие агента может генерировать десятки сложных и многословных событий:
Многошаговые цепочки рассуждений, промежуточные размышления и планирование мыслей.
Полный текст подсказки, системные сообщения и сгенерированные дополнения.
Входные данные для вызова инструментов и многомегабайтные выходные данные JSON.
Подробное подсчет токенов: токены подсказки, кэшированные жетоны подсказки, жетоны рассуждения и токены завершения.
Распределение финансовых затрат с разбивкой по арендаторам, бизнес-подразделениям и проектам.
Когда вы масштабируете корпоративную платформу до сотен или тысяч агентов, каждый день генерируется от 100 ГБ до 1 ТБ подробной полуструктурированной телеметрии.
Если вы загрузите все эти данные непосредственно в основной инструмент мониторинга производительности приложений (APM), ваш ежемесячный счет за наблюдаемость быстро составит конкуренцию счету за вычисления ИИ.
Чтобы решить эту проблему, мы разработали архитектуру телеметрии «Измерьте один раз, распространите повсюду».
Идея: телеметрия