На прошлой неделе знакомый попросил меня посмотреть, почему ответы ChatGPT о его компании наполнены старой информацией. В содержании нет ошибок, схема тоже есть. Попроверив некоторое время, я выяснил ту самую «девовскую» причину: robots.txt блокирует поискового бота с искусственным интеллектом, а странная страница...
На прошлой неделе знакомый попросил меня посмотреть, почему ответы ChatGPT о его компании наполнены старой информацией. В содержании нет ошибок, схема тоже есть. Проверив некоторое время, я выяснил, что причина была очень «девовской»: robots.txt блокировал поискового бота с искусственным интеллектом, а на странице сервиса описание появлялось только после завершения работы JavaScript.
В этой статье описывается, как я тестирую на трех уровнях: robots.txt, исходный HTML и журнал сервера. Все, что вам нужно, это терминал, curl, grep и разрешение на чтение журнала доступа. Я не говорю здесь о контенте или сущностях, я просто смотрю, может ли бот получить к ним доступ и прочитать их или нет.
Пользовательские агенты должны знать
Полного списка нет, но вот те, с которыми я сталкиваюсь чаще всего:
GPTBot (OpenAI): собирает контент, который можно использовать для обучения модели. Блокировка GPTBot означает, что вы не хотите, чтобы контент использовался для этой цели.
OAI-SearchBot (OpenAI): используется для функции поиска ChatGPT. Согласно документации OpenAI, этот сайт блокировки ботов не будет отображаться в результатах поиска ChatGPT (он все равно будет отображаться в виде навигационной ссылки).
ChatGPT-User (OpenAI): доступ к нему осуществляется, когда пользователь запрашивает ChatGPT открыть страницу. OpenAI четко отмечает, что это действие инициируется пользователем, поэтому файл robots.txt может не применяться.
КлодБот (Антропный) и Преступник