Специалист по данным на встрече с архитекторами, инженерами и менеджерами по продуктам говорит: «Мы просто добавим RAG», и все соглашаются. Модель прочитает нашу документацию и ответит на вопросы. Звучит как функция, которую вы могли бы выпустить в следующем сезоне...
Специалист по данным на встрече с архитекторами, инженерами и менеджерами по продуктам говорит: «Мы просто добавим RAG», и все соглашаются. Модель прочитает нашу документацию и ответит на вопросы. Похоже, это функция, которую вы могли бы реализовать к следующему спринту.
Хотя это достижимо для демонстрации следующей встречи, конечный продукт занимает намного больше времени. Мое мнение: RAG дешев в демо-версии и дорог в использовании, и почти вся стоимость приходится на те части, которые демо-версия пропускает.
Демо и продукт
Демо-версия RAG занимает день, потому что сложные части не являются обязательными. Вы разделяете некоторые документы на фрагменты, встраиваете их, помещаете в векторное хранилище, а затем вставляете несколько верхних совпадений в приглашение. Вы можете задать ему пять вопросов, на которые вы уже знаете ответы, он ответит на четыре правильно, и все будут впечатлены и начнут аплодировать.
На самом деле создание надежной версии занимает больше четверти, потому что она должна работать с вопросами, которые вы не выбрали, с документами, которые вы не очистили, для пользователей, которым не разрешено видеть все.
Где скрывается стоимость
Первая цена — поддержание свежести контента. Загрузка документов один раз — это сценарий, а поддержание их в актуальном состоянии — это система. Страницы редактируются, PDF-файлы заменяются, все вики-пространство