Списки User-агентов
User-Agent — это строка, которую браузер или бот передаёт сайту для самоидентификации. В этом разделе вы можете настроить, как модуль будет реагировать на разные User-агенты.
Все списки поддерживают ввод нескольких значений через точку с запятой (;). Поиск подстроки регистронезависимый (например, curl сработает на CURL и libcurl).
✅ Обратный DNS для поисковых ботов
Использовать обратный DNS для проверки поисковых роботов — рекомендуем включить. Эта опция проверяет, действительно ли IP-адрес, представившийся ботом Яндекса, Google или Bing, принадлежит этой поисковой системе. Так вы отсеиваете подделки, не рискуя заблокировать настоящих роботов. Подробно про настройку обратного DNS.
⚪ Белый список (не блокировать)
Применять белый список User-агентов, которые не блокируются — включает проверку по белому списку. Сам список задаётся в поле «Игнорировать User-агенты содержащие эти подстроки».
Пример: Googlebot; yandex.com/bots; bingbot;
Осторожно: Парсеры легко подделывают User-агент. Если вы добавите, например, Googlebot в белый список, любой злоумышленник сможет представиться Googlebot'ом и беспрепятственно парсить сайт. Используйте белый список только для абсолютно доверенных внутренних роботов.
⚫ Чёрный список (блокировка)
Применять черный список User-агентов для блокировки — включает блокировку по чёрному списку. В поле ниже введите подстроки, при обнаружении которых посетитель будет заблокирован.
Предустановленный список (Вы можете дополнять его своими значениями):
curl;BLEXBot;DataForSeoBot;DotBot;AhrefsBot;PetalBot;Barkrowler;MJ12bot;SerendeputyBot;netEstate;CCBot;serpstatbot;ZoominfoBot;linkfluence;NetcraftSurveyAgent;weborama;SeekportBot;SEOkicks;SEO;Go-http-client;pr-cy.ru;ALittle Client;paloaltonetworks;BackupLand;Scrapy; SemrushBot;Seopult;MegaIndex;
Коротко по настройке
- Включите обратный DNS — это главная защита от подделок под поисковики.
- Белый список используйте только для своих внутренних роботов.
- Чёрный список регулярно пополняйте из логов и открытых источников.