Настройки блокировки парсеров
Настройки модуля находятся по адресу:
доменное_имя.сайта/bitrix/admin/settings.php?lang=ru&mid=protobyte.antiparsing
Блок настроек блокировки парсеров отвечает за лимиты на скорость обращения посетителя с одного IP адреса к сайту (как часто совершаются Хиты в пределах одного IP). Если кто то слишком часто обращается к вашему сайту, то он попадает под блокировку.
Вам доступны такие настройки:
Длительность блокировки — на сколько секунд блокируется нарушитель. По умолчанию, 900 сек. В этот период сайт для этого IP адреса не доступен. При этом, все хиты этого IP продолжают записываться для будущей статистики и возможности своевременной блокировки.
Если в течение (сек.) и Сделано хитов более (шт.) — настройки правила блокировки. Если в течение X секунд сделано хитов более N, то блокируем IP. По умолчанию, оба значения равны 10. Это довольно мягкие настройки, под которые обычно не попадают реальные посетители сайта и боты поисковых систем. А блокируются только роботы и парсеры, которые за 10 секунд делают более 10 хитов, т.к. открывают чуть больше одной страницы каждую секунду.
Сколько дней хранить хиты — это сколько времени хранить историю посещения от каждого IP адреса. По умолчанию, 3 дня. На основании этой истории:
- модуль автоматически блокирует парсеров
- администратор анализирует и оптимизирует настройки блокировки
Чем выше посещаемость сайта, тем больше будет занимать таблица базы данных, отвечающая за хранение этой истории. На практике, данных за 3 дня достаточно, если возникают проблемы с размером базы данных, то можно уменьшить этот размер. Если ресурсов вашего сервера много, то можно увеличить, чтобы была возможность проанализировать хиты за больший срок.
Сколько дней хранить заблокированных пользователей — это срок, сколько дней хранить информацию с заблокированными IP адресами в базе данных. По умолчанию, 7 дней. Обычно она не занимает много места и нужна для:
- модуль понимал какой ip адрес заблокирован и когда его разблокировать
- администратор сайта мог проверить корректность работы блокировки, убедиться что под блокировку не попадают реальные посетители сайта или боты поисковых систем
Страница, которая отображается заблокированным посетителям — необходима для кастомизации дизайна и текста страницы блокировки.
Проверка корректности правил блокировки
Рекомендуется периодически проверять кто попал под блокировки.
Для этого перейдите в административной части на страницу:
Сервисы → Защита от парсинга → Заблокированные IP-адреса
Например, отфильтровав записи по причине блокировки «Превышение лимита» вы можете увидеть кто был заблокирован.
Далее мы проверяем ip адреса, которые попали под блокировку. Для примера, кликаем по ip 195.178.110.223 и у нас открывается история посещений этого ip адреса:
Тут мы видим:
1) Дата хитов нам говорит, что этот ip адрес обращается к нашему сайту по 3-4 раза в секунду.
2) Адреса страниц, к которым обращается IP адрес - это перебор различных точек входа для поиска известных роботу уязвимостей.
3) На каждом хите ip адрес меняет свою User агент, что явно не типично для реального посетителя.
Итого мы понимаем, что ip адрес заблокирован заслуженно и переходим к проверке следующего заблокированного ip.