Привлекай.

Робот PrivlekaiBot

PrivlekaiBot — робот сервиса Привлекай (Privlek.ai), который открывает публичные страницы сайта для проверки. Как он ведёт себя и как его закрыть.

Если в журнале вашего сайта появился посетитель с таким именем, это наш робот:

PrivlekaiBot/1.0 (+https://privlek.ai/bot)

Он принадлежит сервису Привлекай (Privlek.ai) — помощнику для малого бизнеса в Казахстане. Ниже — зачем он приходит, как себя ведёт и как его остановить.

Зачем он приходит

Пользователь сервиса может запросить экспресс-проверку сайта: своего или чужого, например сайта будущего клиента. Робот открывает публичные страницы и записывает для отчёта:

  • код ответа и часть заголовков (тип содержимого, кэширование, X-Robots-Tag и подобные), без cookie;
  • title, description, canonical, теги Open Graph и мета-теги для роботов;
  • ссылки: адрес, текст ссылки (до 100 знаков) и признак nofollow;
  • формы (метод, сайт, куда они отправляются, и типы полей, без введённых данных), фреймы и адреса внешних скриптов;
  • начало текста скриптов, встроенных в страницу (до 300 знаков у каждого), и начало видимого текста страницы (до 500 знаков);
  • файл robots.txt, карту сайта и срок действия сертификата.

Телефоны и почтовые адреса в записанных текстах и адресах скрываются. Ссылки на телефон, почту и номера в мессенджерах (tel:, mailto:, WhatsApp, Viber) записываются только как вид ссылки: сам номер или адрес не сохраняется. По записанному сервис собирает отчёт о том, что мешает сайту находиться и приводить клиентов. Скорость главной страницы по запросу сервиса отдельно измеряет Google; этот замер делает он, а не наш робот.

Как он себя ведёт

  • Сначала проверяет сертификат сайта: открывает защищённое соединение с главным адресом и читает срок действия. Страницы при этом не запрашиваются.
  • Перед загрузкой страниц читает robots.txt и подчиняется ему.
  • Запрашивает только публичные адреса вашего сайта методом GET. Не исполняет скрипты, не входит в аккаунты, не заполняет формы и не передаёт cookie.
  • Между запросами к одному сайту делает паузу не меньше 1 секунды. Адреса с www и без него он считает разными сайтами, у каждого своя пауза.
  • За проверку берёт не больше 25 HTML-страниц.
  • Результат проверки хранится 24 часа: повторные проверки того же сайта не нагружают его снова. Сами записи обхода робот хранит 7 дней после проверки. Отчёт остаётся в кабинете того, кто его заказал.

Как запретить обход

Добавьте в robots.txt в корне сайта (https://ваш-сайт/robots.txt) группу для нашего робота:

User-agent: PrivlekaiBot
Disallow: /

Так робот не загрузит ни одной страницы, кроме самого robots.txt. Закрыть можно и часть сайта: Disallow: /private/. Робот понимает Allow, Disallow, а также * и $ в правилах, как описано в RFC 9309. Имя в строке User-agent — PrivlekaiBot, регистр не важен.

Если группы для PrivlekaiBot нет, робот следует группе User-agent: *. На любой ответ 4xx (кроме 429) вместо robots.txt он считает, что запретов нет. Если файл не получен (сетевая ошибка, ответ 5xx или 429, перенаправление без конца), робот не загружает ничего, кроме самого файла. Строку Crawl-delay робот не учитывает: частота запросов и без неё ограничена.

Связаться с нами

Робот ведёт себя иначе, чем здесь описано, или вы хотите, чтобы он больше не приходил, а robots.txt менять нельзя? Напишите на softispower@gmail.com: укажите адрес сайта и время визитов из журнала, мы разберёмся.