Защита от парсинга / модуль для 1С-Битрикс

Проверка поисковых роботов (обратный DNS)

В интернете много нежелательных ботов (парсеров), которые пытаются украсть контент с вашего сайта. Чтобы обмануть систему защиты, они часто маскируются под «хороших» роботов — например, под поисковые системы Яндекс, Google или Bing. Они просто подставляют в свои настройки (user-agent) имена настоящих поисковиков. 

Возникает дилемма: по поведению бота видно, что он вредит сайту, но мы боимся его блокировать. Вдруг это настоящий Яндекс, и после блокировки наш сайт исчезнет из поиска? 

Как модуль решает эту проблему 

Чтобы отличить настоящего робота от подделки, мы добавили функцию проверки через обратный DNS. Мы рекомендуем включить эту опцию в настройках модуля (по умолчанию она выключена). 

Настройки модуля доступны в административной части сайта: 
Настройки → Настройки продукта → Настройки модулей → Защита от парсинга

Настройки модуля - обратный DNS

Как это работает (простыми словами): 

  1. Опознание. Как только на сайт заходит бот, который представляется роботом Яндекса, Google или Bing, модуль не спешит его блокировать, а отправляет специальный DNS-запрос. 
  2. Сверка личности. Этот запрос проверяет, действительно ли IP-адрес, с которого пришел бот, принадлежит официальной поисковой системе. 
  3. Вердикт: 
    Если свой: Бот оказывается настоящим (например, реальным роботом Яндекса). Модуль сразу пропускает его на сайт, отключая все остальные проверки. Ваш сайт в безопасности, позиции в поиске не пострадают. 
    Если чужой: Бот — подделка. Модуль блокирует его, не давая навредить сайту.

Важно для скорости работы: 
Чтобы эта проверка не замедляла загрузку сайта, мы сохраняем (кэшируем) результаты всех DNS-запросов на 3 месяца.

 

Подтверждение от официальных источников

Метод проверки через обратный DNS является официально рекомендованным способом идентификации роботов самими поисковыми системами. Вы можете ознакомиться с документацией:

Эти ссылки подтверждают, что используемый модулем алгоритм полностью соответствует требованиям поисковых систем к идентификации их ботов.