Мы собираемся создать потоковый агент сортировки журналов DevOps, который считывает необработанные журналы сервера и выдает структурированный отчет с уценкой токен за токеном. Это сокращает воспринимаемую задержку во время инцидентов, поскольку операторы сразу видят серьезность и сводку...
Мы собираемся создать потоковый агент сортировки журналов DevOps, который считывает необработанные журналы сервера и выдает структурированный отчет с уценкой токен за токеном. Это сокращает предполагаемую задержку во время инцидентов, поскольку операторы видят серьезность и сводку сразу же, как модель генерирует их, а не после полного ожидания.
Что вам понадобится
Python 3.10 или новее
OpenAI SDK: pip install openai
Ключ API Oxlo.ai с https://portal.oxlo.ai.
Шаг 1. Инициализируйте клиент Oxlo.ai и проверьте потоковую передачу.
Я начинаю с импорта SDK и указываю его на Oxlo.ai. Я также провожу проверку работоспособности одним словом, чтобы убедиться, что потоковая передача работает.
из openai импорт OpenAI
клиент = OpenAI(base_url="https://api.oxlo.ai/v1", api_key="YOUR_OXLO_API_KEY")
ответ = client.chat.completions.create(
модель="лама-3.3-70б",
сообщения=[
{"role": "user", "content": "Передать привет одним словом."},
],
поток = Истина,
)
для чанка в ответ:
print(chunk.choices[0].delta.content или "", end="",lush=True)
печать()
Шаг 2. Определите системное приглашение
Системное приглашение обеспечивает согласованную структуру уценки, чтобы последующие инструменты могли анализировать отчет без дополнительного шума при форматировании.
SYSTEM_PROMPT = """Вы являетесь агентом сортировки DevOps. Проанализируйте