Объяснение моделей внедрения Chatbot RAG (и как отслеживать стоимость арендатора)

Краткий ответ: используйте text-embedding-3-small для первой производственной версии RAG-системы чат-бота внутри приложения. Он имеет 1536 измерений и стоит 0,02 доллара США за 1 миллион токенов в предоставленных фактах модели. Это полезный баланс качества и стоимости семантического поиска. Сохраняйте размер text-embedding-3-large в качестве пути эскалации, когда ограничивающим фактором является качество извлечения, а не видимость затрат арендатора. Важный выбор дизайна — это не модель сама по себе. Это граница между индексированием, поиском и генерацией ответов. Поручите работу по внедрению арендатору, которому принадлежит документ, держите в курсе арендатора векторного индекса и поручите модель ответа арендатору, задавшему вопрос. В противном случае общая база знаний может выглядеть дешевой, но в то же время незаметно заставит одного клиента субсидировать другого. Как встроенная модель должна обеспечивать семантический поиск чат-бота RAG? Рассматривайте поток как две разные работы. Во время приема разделите базу знаний клиента на фрагменты и отправьте эти фрагменты через /v1/embeddings. Сохраните возвращенные векторы в базе данных векторов, например Pinecone или Weaviate, вместе с идентификаторами арендаторов и документов. Во время чата внедрите запрос пользователя, запустите семантический поиск по каждому