Graphify: детерминированные графы знаний кода и трата токенов Vector RAG

Graphify: детерминированные графы знаний кода и трата токенов Vector RAG При интеграции LLM с базами кода большинство команд используют векторные базы данных и семантический поиск. Схема знакома: разбить каждый файл на части, сгенерировать вложения, сохранить в Pinecone или Weaviate, а затем извлечь соответствующий контекст для каждого запроса. Это работает — пока вы не посчитаете экономику токена. Скрытая стоимость векторного кода RAG Каждый раз, когда разработчик спрашивает: «Где логика аутентификации?», типичный векторный конвейер RAG: Встраивает запрос (небольшая стоимость) Получает 10–20 чанков (каждый по 500–1000 токенов) Подает в подсказку более 8000 токенов полученного контекста. Повторяет это для каждого последующего вопроса в разговоре. Для средней кодовой базы (50 тыс. LOC) поддержание новых внедрений после каждого коммита обходится в 2–5 долларов США в день при внедрении вызовов API. Настоящим убийцей является потребление контекстных окон: получение перекрывающихся фрагментов без понимания структуры означает, что вы платите за отправку одних и тех же функций в GPT-4 десятки раз за сеанс. Введите Graphify: детерминированный AST как запрашиваемый граф Graphify использует принципиально иной подход. Вместо семантических вложений он строит детерминированный граф знаний.