За уебмастъри
RankDossierBot
RankDossierBot е ботът, с който правим SEO одити по заявка на нашите клиенти. Обхожда само публично достъпното съдържание, честно и учтиво.
Как се представя
RankDossierBot/1.0 (+https://rankdossier.com/bot)
- Спазва robots.txt и Crawl-delay.
- Най-много 2 заявки в секунда и 2 едновременни връзки към един сайт (до 5 в секунда само за собственици с доказана собственост).
- При 429/503 намалява скоростта наполовина и спазва Retry-After.
- Не заобикаля Cloudflare, CAPTCHA или друга защита.
- Не събира лични данни и не изпраща формуляри.
Как да ни разрешите или забраните
За да ни позволите пълна проверка, добавете в robots.txt:
User-agent: RankDossierBot
Allow: /
За да не бъде проверяван сайтът ви изобщо, използвайте формата за изключване или ни пишете.