CloudWatch EMF: простое объяснение: как генерировать пользовательские метрики с нулевыми издержками из вашего сервиса AI Node.js

Большинство инженеров обращаются к CloudWatch Metrics API и в конечном итоге пишут дополнительные вызовы SDK, которые увеличивают задержку и затраты. Встроенный формат метрик (EMF) позволяет предоставлять подробные метрики с возможностью запроса, просто записывая журналы JSON в специальном формате. Узнайте, как превратить код вывода искусственного интеллекта в мощный инструмент самоконтроля без дополнительных затрат. Почему ЭМП имеет значение для сервисов искусственного интеллекта Проблема, которую мы решаем Конечная точка вывода LLM (большая языковая модель) может обрабатывать сотни запросов в секунду. Каждый запрос имеет задержку, количество токенов и иногда ошибку. Если вы регистрируете только необработанный запрос/ответ, вам придется позже запускать дорогостоящее сканирование журналов для расчета средних значений, процентилей или коэффициентов ошибок. Добавление второго вызова «метрик» (например, PutMetricData) создает дополнительные сетевые переходы, добавляет миллисекунды к каждому выводу и увеличивает ваш счет за AWS. Ответ ЭМП Формат встроенных метрик (EMF) – это способ встраивания данных метрик непосредственно в событие CloudWatch Logs. Думайте о строке журнала как о стикере, который не только рассказывает вам о том, что произошло, но и содержит крошечное табло с числами. CloudWatch считывает табло, извлекает цифры и сохраняет их как обычные метрики CloudWatch — без какого-либо отдельного API.