Za vebmastere
RankDossierBot
RankDossierBot je bot kojim radimo SEO provere po nalogu naših klijenata. Obilazi samo javno dostupan sadržaj, otvoreno i obzirno.
Kako se predstavlja
RankDossierBot/1.0 (+https://rankdossier.com/bot)
- Poštuje robots.txt i Crawl-delay.
- Najviše 2 zahteva u sekundi i 2 istovremene veze ka jednom sajtu (do 5 u sekundi samo za vlasnike sa potvrđenim vlasništvom).
- Kod 429/503 smanjuje brzinu na pola i poštuje Retry-After.
- Ne zaobilazi Cloudflare, CAPTCHA ni drugu zaštitu.
- Ne prikuplja lične podatke i ne šalje formulare.
Kako da nam dozvoliš ili zabraniš pristup
Da bi dozvolio potpunu proveru, dodaj u robots.txt:
User-agent: RankDossierBot
Allow: /
Ako ne želiš da se tvoj sajt uopšte proverava, iskoristi formular za isključenje ili nam piši na contact@rankdossier.com.