Привлекай.

PrivlekaiBot роботы

PrivlekaiBot — сайттың ашық беттерін тексеру үшін ашатын Привлекай (Privlek.ai) сервисінің роботы. Ол өзін қалай ұстайды және robots.txt арқылы қалай жабады.

Сайтыңыздың журналында осындай атпен келуші пайда болса, бұл — біздің робот:

PrivlekaiBot/1.0 (+https://privlek.ai/bot)

Ол Қазақстандағы шағын бизнеске арналған көмекші — Привлекай (Privlek.ai) сервисіне тиесілі. Төменде: ол не үшін келеді, өзін қалай ұстайды және оны қалай тоқтатуға болады.

Ол не үшін келеді

Сервис пайдаланушысы сайтты экспресс-тексеруге сұрау жібере алады: өз сайтын немесе басқа біреудікін, мысалы болашақ клиенттің сайтын. Робот ашық беттерді ашып, есеп үшін мыналарды жазып алады:

  • жауап коды және тақырыптардың бір бөлігі (мазмұн түрі, кэштеу, X-Robots-Tag және соған ұқсастар), cookie-сіз;
  • title, description, canonical, Open Graph тегтері және роботтарға арналған мета-тегтер;
  • сілтемелер: мекенжай, сілтеме мәтіні (100 таңбаға дейін) және nofollow белгісі;
  • формалар (әдіс, олар жіберілетін сайт және өріс түрлері, енгізілген деректерсіз), фреймдер және сыртқы скрипттердің мекенжайлары;
  • беттегі кірістірілген скрипттердің басы (әрқайсысынан 300 таңбаға дейін) және беттің көрінетін мәтінінің басы (500 таңбаға дейін);
  • robots.txt файлы, сайт картасы және сертификаттың жарамдылық мерзімі.

Жазылған мәтіндер мен мекенжайлардағы телефондар мен пошта мекенжайлары жасырылады. Телефонға, поштаға және мессенджердегі нөмірлерге сілтемелер (tel:, mailto:, WhatsApp, Viber) тек сілтеме түрі ретінде жазылады: нөмірдің немесе мекенжайдың өзі сақталмайды. Жазылғанның негізінде сервис сайттың табылуына және клиент әкелуіне не кедергі болатыны туралы есеп жинайды. Басты беттің жылдамдығын сервистің сұрауымен Google бөлек өлшейді; бұл өлшемді біздің робот емес, Google жасайды.

Ол өзін қалай ұстайды

  • Алдымен сайттың сертификатын тексереді: басты мекенжайға қорғалған байланыс ашып, жарамдылық мерзімін оқиды. Бұл кезде беттер сұратылмайды.
  • Беттерді жүктемес бұрын robots.txt файлын оқиды және оған бағынады.
  • Сайттың тек ашық мекенжайларын GET әдісімен сұратады. Скрипт орындамайды, аккаунтқа кірмейді, форма толтырмайды және cookie жібермейді.
  • Бір сайтқа сұраулар арасында кемінде 1 секунд үзіліс жасайды. www бар және жоқ мекенжайларды ол әртүрлі сайт деп санайды, әрқайсысының өз үзілісі бар.
  • Бір тексеруде 25 HTML-беттен артық алмайды.
  • Тексеру нәтижесі 24 сағат сақталады: сол сайтты қайта тексергенде оны қайтадан жүктемейді. Робот шолу жазбаларын тексеруден кейін 7 күн сақтайды. Есеп оны тапсырыс берген адамның кабинетінде қалады.

Шолуға қалай тыйым салуға болады

Сайттың түбіндегі robots.txt файлына (https://сіздің-сайт/robots.txt) біздің робот үшін топ қосыңыз:

User-agent: PrivlekaiBot
Disallow: /

Сонда робот robots.txt файлының өзінен басқа бірде-бір бетті жүктемейді. Сайттың тек бір бөлігін де жабуға болады: Disallow: /private/. Робот Allow, Disallow және ережелердегі * пен $ белгілерін RFC 9309 сипаттағандай түсінеді. User-agent жолындағы атау — PrivlekaiBot, әріп регистрі маңызды емес.

PrivlekaiBot үшін топ болмаса, робот User-agent: * тобына бағынады. robots.txt орнына кез келген 4xx жауап келсе (429-дан басқа), робот тыйымдар жоқ деп санайды. Файл алынбаса (желі қатесі, 5xx не 429 жауабы, аяқталмайтын қайта бағыттау), робот файлдың өзінен басқа ештеңе жүктемейді. Crawl-delay жолын робот ескермейді: сұрау жиілігі онсыз да шектелген.

Бізбен байланысу

Робот осы жерде сипатталғаннан өзгеше жүр ме, немесе robots.txt файлын өзгерту мүмкін емес, ал сіз оның келуін тоқтатқыңыз келе ме? softispower@gmail.com мекенжайына жазыңыз: сайттың мекенжайын және журналдағы келу уақытын көрсетіңіз, біз анықтаймыз.