Превратите любую веб-страницу в готовый к LLM Markdown для RAG Генерация с расширенным поиском (RAG) работает лучше, когда документы представляют собой чистую прозу, а не необработанный HTML. Панели навигации, скрипты и шум макета приводят к путанице и сбивают с толку. Этот урок...
Превратите любую веб-страницу в готовый к LLM Markdown для RAG
Генерация с расширенным поиском (RAG) работает лучше, когда документы представляют собой чистую прозу, а не необработанный HTML. Панели навигации, скрипты и шум макета приводят к путанице и сбивают с толку.
В этом руководстве показан практический шаблон: получите общедоступный URL-адрес, преобразуйте основной контент в Markdown, разбейте его на фрагменты и (необязательно) встройте фрагменты. Мы вызовем общедоступный URL-адрес API Markdown (LLM-ready) в RapidAPI:
https://rapidapi.com/evan-DewNPsuYp/api/url-to-markdown-llm-ready
Вам понадобится ключ RapidAPI. Начните с бесплатного плана, пока создаете прототип.
Почему Маркдаун?
Заголовки становятся естественными границами фрагментов (#, ##, …).
Списки и таблицы сохранились в той форме, которую уже понимают специалисты LLM.
Количество токенов ближе к тому, что вы отправляете в модель, чем к необработанному HTML.
Этот API предназначен только для статического HTML — он не запускает JavaScript. Сайты, которые отображают весь контент на стороне клиента, могут возвращать мало текста. Он также отклоняет HTML-код слишком большого размера (около 200 КБ) с помощью HTTP 413. Эти ограничения подходят для многих блогов и страниц документации; узнайте их, прежде чем проектировать гусеничный робот.
1. Подпишитесь и установите ключ
экспортировать RAPIDAPI_KEY='ваш ключ здесь'
Заголовок хоста (из общедоступного списка): url-to-markdown-llm-