Защита от парсинга и ботов / модуль для 1С-Битрикс

Дашборд эффективности защиты

Дашборд эффективности защиты показывает, как модуль для 1С-Битрикс «Защита от парсинга» (Protobyte.Antiparsing) реагирует на подозрительную активность на сайте: сколько запросов он проверил, сколько блокировок создал, какие правила срабатывали чаще всего и как пользователи проходят JS Challenge.

Эти данные нужны не для оценки посещаемости сайта в целом, а для понимания качества защиты. Если в дашборде много хитов, это означает, что модуль видел и анализировал обращения. Если много блокировок, значит часть обращений совпала с правилами защиты: превышением лимита, черным списком IP или User-Agent, геоблокировкой, поддельным поисковым роботом или не пройденным JS Challenge.

дашборд эффективности защиты от ботов

Как воспринимать данные

Дашборд отвечает на три практических вопроса:

  1. Насколько активно сайт проверяется защитой.
  2. Какие механизмы защиты реально срабатывают.
  3. Нужно ли уточнить настройки, чтобы не блокировать полезных посетителей и не пропускать лишнюю бот-активность.

Показатели лучше смотреть не по одному числу, а в связке. Например, рост количества хитов сам по себе не всегда проблема: это может быть рекламная кампания, индексация поисковиком или сезонный рост трафика. Но если одновременно растут блокировки, доля сработавших правил и топ подозрительных User-Agent, это уже сигнал к проверке.

Фильтр по сайту

Если в Битрикс используется несколько сайтов, в дашборде можно выбрать конкретный сайт. После выбора все карточки, таблицы и показатели JS Challenge пересчитываются только по этому сайту.

Если выбран вариант «Все сайты», дашборд показывает общую картину по модулю. Такой режим удобен для быстрой оценки нагрузки, но для настройки правил лучше смотреть каждый сайт отдельно: у разных сайтов могут отличаться аудитория, URL, рекламный трафик и допустимая частота запросов.

Период «Последние 24 часа»

Блок «Последние 24 часа» показывает текущую ситуацию. Он полезен для ежедневного контроля и проверки свежих всплесков активности.

Основные показатели:

  • Проверенные хиты: количество запросов, которые попали в учет модуля.
  • Созданные блокировки: сколько новых записей о блокировке появилось за период.
  • Уникальные IP: сколько разных IP-адресов обращались к сайту и были учтены модулем.
  • Заблокированные IP: сколько IP-адресов попало под блокировку.
  • Доля сработавших правил: отношение блокировок к проверенным хитам.

Если проверенных хитов много, а блокировок мало, защита в основном наблюдает трафик и не видит массовых нарушений правил. Если блокировок много, нужно посмотреть причины: это может быть нормальная работа фильтров против парсеров, но также может быть слишком жесткий лимит активности.

Период «За срок хранения»

Блок за срок хранения показывает накопленную картину по данным, которые еще не очищены агентом модуля. Этот период зависит от настроек хранения хитов и блокировок.

Эти показатели удобны для оценки долгосрочного фона:

  • какие объемы нежелательной активности типичны для сайта;
  • насколько часто срабатывают правила за несколько дней или недель;
  • какие страны, User-Agent и причины блокировок повторяются постоянно.

Для оперативных решений используйте последние 24 часа. Для настройки стратегии защиты и черных списков смотрите срок хранения.

JS Challenge

JS Challenge проверяет, может ли клиент выполнить JavaScript и сохранить cookie. Это помогает отсечь простых ботов и парсеры, которые не ведут себя как обычный браузер.

В дашборде есть два блока JS Challenge: за последние 24 часа и за срок хранения.

Показатели:

  • Выдано JS Challenge: сколько клиентов получили проверку.
  • Успешно пройдено: сколько клиентов выполнили JavaScript и вернулись с корректной cookie.
  • Не пройдено: сколько клиентов не подтвердили проверку.
  • Процент прохождения: доля успешных прохождений среди выданных проверок.

Высокий процент прохождения обычно означает, что обычные пользователи проходят проверку без проблем. Низкий процент может говорить о большом количестве ботов, но также требует проверки настроек, композитного кеша и сценариев, где у легитимных клиентов могут быть отключены JavaScript или cookies.

Важно: успешный JS Challenge не означает, что клиент полностью безопасен. После прохождения проверки продолжают работать остальные правила: лимит активности, IP-списки, User-Agent, геоблокировка и проверка поисковых роботов.

Топ причин блокировок

Таблица показывает, какие правила чаще всего приводили к блокировке.

Возможные причины:

  • Превышение лимита активности: IP сделал слишком много запросов за заданный интервал.
  • Черный список IP: адрес или подсеть указаны в настройках блокировки.
  • Черный список User-Agent: строка User-Agent совпала с запрещенным шаблоном.
  • Поддельный поисковый робот: клиент представился поисковым ботом, но не прошел reverse DNS проверку.
  • Геоблокировка: страна IP попала под правило географической блокировки.
  • Не пройден JS Challenge: клиент не смог подтвердить JavaScript/cookie-проверку.

Если лидирует «Превышение лимита активности», проверьте реальные IP и URL в списках «Хиты» и «Анализ». Возможно, это агрессивный парсер, а возможно, легитимный сценарий с высокой частотой запросов.

Если часто срабатывает «Поддельный поисковый робот», это хороший признак: модуль отделяет настоящих поисковых роботов от клиентов, которые только подставляют похожий User-Agent.

Если много блокировок по геолокации, убедитесь, что выбранный режим геоблокировки соответствует вашей бизнес-географии.

Топ стран

Топ стран показывает, из каких стран приходит больше всего учтенных хитов. Страна определяется по IP и отображается с названием и ISO-кодом, например «Россия (RU)».

Этот блок помогает понять географию активности:

  • нормален ли трафик из этих стран для вашего сайта;
  • не появился ли резкий рост из стран, где у вас нет аудитории;
  • стоит ли уточнить настройки геоблокировки.

Само присутствие страны в топе не означает угрозу. Важно сопоставлять страну с количеством блокировок, User-Agent и URL.

Топ заблокированных User-Agent

Таблица показывает User-Agent, которые чаще всего встречались в заблокированных обращениях.

Этот блок полезен для поиска повторяющихся парсеров и автоматизированных клиентов. Если один и тот же User-Agent регулярно появляется в блокировках, его можно дополнительно проверить и при необходимости добавить в черный список User-Agent.

С осторожностью блокируйте слишком общие User-Agent. Например, строки, похожие на обычные браузеры, могут использовать и реальные пользователи. Перед добавлением правила проверьте IP, частоту запросов и URL.

Когда нужно менять настройки

Настройки стоит пересматривать, если вы видите один из признаков:

  • резко выросла доля сработавших правил;
  • много блокировок по лимиту активности у похожих легитимных URL;
  • полезные пользователи или сервисы попадают в блокировки;
  • в топе User-Agent повторяется очевидный бот;
  • много неуспешных JS Challenge при обычном пользовательском трафике;
  • появились страны, из которых сайт не должен получать трафик;
  • поисковые роботы попадают в подозрительную активность и требуют проверки reverse DNS.

После изменения настроек оценивать результат лучше через 24 часа, чтобы сравнить свежий период с накопленной картиной.

Практический порядок анализа

  1. Выберите нужный сайт в фильтре.
  2. Посмотрите «Последние 24 часа»: есть ли всплеск хитов, блокировок или доли сработавших правил.
  3. Проверьте «Топ причин блокировок» и определите, какой механизм срабатывает чаще всего.
  4. Откройте «Топ стран» и «Топ заблокированных User-Agent», чтобы понять источник активности.
  5. Перейдите в списки «Хиты», «Анализ» или «Заблокированные IP-адреса» для проверки конкретных IP, URL и User-Agent.
  6. Добавьте явных нарушителей в черные списки или уточните исключения для легитимных сценариев.
  7. Через некоторое время обновите дашборд и проверьте, изменилась ли картина.

Что важно помнить

Дашборд показывает эффективность защитных правил, а не полную веб-аналитику. Он не заменяет системы статистики посещаемости, но помогает быстро понять, как модуль защищает сайт от парсинга, ботов и подозрительной активности.

Нормальная ситуация для рабочего сайта: часть запросов проходит без блокировок, часть подозрительных клиентов отсекается правилами, а подтвержденные поисковые роботы не мешаются с поддельными. Если цифры выглядят необычно, начинайте анализ с причины блокировки, затем смотрите IP, страну, URL и User-Agent.