Защита от парсинга и ботов / модуль для 1С-Битрикс

Официальные AI-боты

Официальные AI-боты — дополнительный механизм модуля, который позволяет управлять доступом к сайту для ботов OpenAI, Anthropic (Claude), Perplexity и Apple. Для каждой компании можно отдельно выбрать, разрешать или блокировать обращения её ботов.

Настройки доступа AI ботов

Для чего нужна эта проверка

AI-боты могут создавать значительную нагрузку на сайт. В отличие от обычных поисковых роботов, некоторые нейросетевые сервисы обращаются к страницам очень интенсивно и могут выполнять большое количество запросов за короткое время.

На сайтах с ограниченными ресурсами это может приводить к повышенной нагрузке на сервер, замедлению работы страниц и ухудшению работы сайта для обычных посетителей. В таких ситуациях ограничение или полная блокировка AI-ботов может быть самым простым способом быстро снизить лишнюю нагрузку.

Если AI-боты создают чрезмерную нагрузку на сайт, их можно выборочно заблокировать для отдельных компаний, не ограничивая доступ обычных посетителей.

Вторая причина — контроль доступа к содержимому сайта. Владелец сайта может не хотеть, чтобы определенные нейросетевые сервисы автоматически обрабатывали размещенные материалы, использовали их при формировании ответов или получали доступ к контенту сайта.

Настройки официальных AI-ботов позволяют самостоятельно определить, каким сервисам разрешить доступ к сайту, а каким — запретить.

Модуль использует двойную проверку:

1. Определяет тип бота по User-Agent.
2. Проверяет IP-адрес по официальным диапазонам, опубликованным соответствующей компанией.

Только при совпадении этих данных бот считается подтвержденным официальным ботом.

Как работает проверка

  1. Модуль определяет по User-Agent, что запрос относится к одному из поддерживаемых AI-ботов.
  2. IP-адрес запроса проверяется по официальным диапазонам соответствующей компании.
  3. Если бот подтвержден, применяется выбранная для этой компании политика: «Разрешать» или «Блокировать».
  4. Если запрос представляется официальным AI-ботом, но его IP-адрес не входит в официальные диапазоны, бот считается поддельным и блокируется.
Важно: простая подмена User-Agent не позволяет парсеру получить доступ к сайту под видом официального AI-бота.

Поддерживаемые компании

OpenAI
Anthropic (Claude)
Perplexity
Apple

Политика доступа настраивается отдельно для каждой компании. Например, можно разрешить ботов OpenAI и Perplexity, но заблокировать ботов других компаний.

А что с ботами Google и Яндекса?

Дополнительно настраивать Google и Яндекс в этом блоке не требуется.

Модуль уже имеет отдельный механизм проверки официальных роботов этих поисковых систем с помощью reverse DNS.

Когда модуль обнаруживает поддерживаемого робота Google или Яндекса, он проверяет, действительно ли IP-адрес принадлежит инфраструктуре соответствующей поисковой системы. Если проверка успешно пройдена, робот считается официальным и пропускается модулем.

Это распространяется и на соответствующих роботов этих компаний, которые определяются существующим механизмом проверки поисковых систем. Поэтому для Google и Яндекса не требуется добавлять отдельные правила в разделе «Официальные AI-боты».

Итого:
  • OpenAI, Anthropic, Perplexity и Apple — проверяются по User-Agent и официальным IP-диапазонам.
  • Google и Яндекс — поддерживаемые официальные роботы проверяются существующим механизмом reverse DNS.

Обновление IP-диапазонов

Модуль автоматически получает актуальные диапазоны IP из официальных источников и регулярно обновляет их.

Если очередное обновление не удалось, используются последние успешно полученные данные. Таким образом, временная недоступность внешнего источника не приводит к отключению проверки.