Это действительно GPTBot? Проверьте трафик ИИ-сканера в своих журналах с помощью 50 строк Python

Откройте любой журнал доступа сегодня, и вы увидите парад ИИ-сканеров: GPTBot, OAI-SearchBot, ChatGPT-User, PerplexityBot. Прежде чем вы решите их заблокировать, разрешить или отметить, стоит задаться скучным вопросом: настоящие ли они? Пользовательский агент — это просто строка. Любой парсер может отправить OAI-SearchBot/1.3 и надеяться, что ваш брандмауэр его пропустит. Хорошей новостью является то, что компании, стоящие за основными сканерами, публикуют диапазоны IP-адресов, которые они фактически используют, так что вы можете проверить. Где живут официальные диапазоны Каждый из этих файлов представляет собой обычный JSON со списком префиксов записей ipv4Prefix/ipv6Prefix (все проверено 26 октября 2026 г.): Гусеничный Что он делает список IP OAI-SearchBot Сайты Surfaces в поиске ChatGPT https://openai.com/searchbot.json GPTBot Собирает контент, который можно использовать для обучения. https://openai.com/gptbot.json ЧатGPT-Пользователь Получает страницу по запросу пользователя ChatGPT. https://openai.com/chatgpt-user.json PerplexityBot Индексирует сайты для результатов поиска Perplexity. https://www.perplexity.com/perplexitybot.json Пользователь недоумения Получает страницу с вопросом пользователя https://www.perplexity.com/perplexity-user.json Googlebot Сканирование поиска Google https://developers.google.com/static/search/