Наконец этот день настал. На этой неделе я впервые начал по-настоящему изучать основы искусственного интеллекта. Для тех, кто слышит обо мне впервые, причина, по которой я не начал это раньше, заключается в том, что я практически начинал с нуля. Т...
Наконец этот день настал. На этой неделе я впервые начал по-настоящему изучать основы искусственного интеллекта.
Для тех, кто слышит обо мне впервые, причина, по которой я не начал это раньше, заключается в том, что я практически начинал с нуля. Последние 3 месяца я полностью потратил на изучение программирования и основ работы SWE.
Две самые важные вехи на этой неделе: конвейер RAG и Evals.
1/ Трубопровод ТРЕП
Полный конвейер RAG в основном состоит из 4 частей: разбиение на фрагменты, внедрение, извлечение и генерация.
Самое сложное для меня — это куски.
Почему?
На это есть несколько причин, исходя из моего честного опыта:
* В конечном итоге это входные данные для всего конвейера.
Воспринимайте этот процесс как процесс приготовления пищи. Вы просто не сможете вкусно поесть, если у вас нет лучших ингредиентов.
* Не каждый файл имеет лучший формат.
На самом деле файлы беспорядочны, и обычно вы не сможете обрабатывать один файл одновременно. На практике их может быть от нескольких десятков до сотен и даже больше.
Цель состоит в том, чтобы разделить их на правильные фрагменты, которые модель сможет легко прочитать и найти нужную информацию. Оно не должно быть слишком коротким или слишком длинным. Он должен быть подходящего размера.
Два метода