PageIndex RAG: перестаньте платить дважды за дублирующиеся доказательства

PageIndex RAG: перестаньте платить дважды за дублирующиеся доказательства Вы получаете три соответствующих раздела документа. Двое из них цитируют одну и ту же страницу. Ваш конвейер RAG объединяет все три и отправляет 18 000 токенов в модель ответа. Вы только что заплатили дважды за 6000 жетонов идентичных доказательств. Это не проблема поиска векторов. Это проблема сборки. VectifyAI/PageIndex предлагает навигацию на основе дерева вместо встроенного поиска, но выбранные узлы по-прежнему могут перекрываться. Если родительский раздел и один из его дочерних разделов ссылаются на одну и ту же страницу, дедупликация необходима до вывода, а не после получения счета. Как внешний интегратор, оценивающий PageIndex, я создал проверенный ассемблер контекста, чтобы ответить на один вопрос: могут ли перекрывающиеся результаты поиска стать ограниченным, воспроизводимым контекстом ответа без нарушения цитирования? В этой статье представлен работающий Python, а не отчет о производственном развертывании. Платный тест PageIndex или B-Lost не проводился. Отделить навигацию от сборки доказательств Дерево PageIndex заменяет векторный индекс; это не снимает с вас ответственности за контроль объема доказательств. В репозитории описан локальный режим как подходящий для текстовых PDF-файлов, а в Cloud of