Создание системы ответов на вопросы с использованием LLM: пошаговое руководство

Мы собираемся создать систему ответов на вопросы с расширенным поиском, которая будет основывать ответы LLM в частном текстовом корпусе. Это тот же шаблон, который используется для внутренних справочных служб, поиска юридических документов и ботов документации разработчиков. Поскольку Oxlo.ai взимает фиксированную ставку за запрос, а не за токен, вы можете вставлять в приглашение большие извлеченные контексты, не беспокоясь о дополнительных расходах. Что вам понадобится Python 3.10 или новее Ключ API Oxlo.ai с https://portal.oxlo.ai. OpenAI SDK и NumPy: pip install openai numpy Шаг 1. Инициализируйте клиент Oxlo.ai. Oxlo.ai предоставляет API-интерфейс, совместимый с OpenAI, поэтому единственными изменениями являются базовый URL-адрес и идентификатор модели. Я буду использовать для генерации llama-3.3-70b, поскольку он надежно обрабатывает выполнение инструкций. из openai импорт OpenAI клиент = OpenAI(base_url="https://api.oxlo.ai/v1", api_key="YOUR_OXLO_API_KEY") Шаг 2. Создайте хранилище документов. В этом уроке мы будем использовать жестко закодированный список статей поддержки. В рабочей среде вы загружаете их из базы данных или папки с очищенной документацией. документы = [ { "id": "документ-1", "text": "Oxlo.ai использует фиксированную цену за каждый запрос. Каждый вызов API стоит одну фиксированную сумму в зависимости от