Robotul care actualizează anunțurile de pe AutoScanner.ro. Dacă ați găsit această adresă în jurnalele serverului dumneavoastră, cererile vin de la robotul nostru.
AutoScanner.ro adună într-un singur loc anunțuri publice de mașini rulate de pe mai multe site-uri din România și trimite cititorii, pentru detalii și contact, la anunțul original. Robotul se prezintă cu numele:
AutoScannerBot/1.0 (+https://autoscanner.ro/bot)
Citește paginile publice de listă și de anunț (marcă, model, an, kilometraj, preț, localitate, fotografii, descriere) ca să afișeze anunțul și să știe când a fost vândut sau retras. Nu se autentifică, nu completează formulare și nu ocolește nicio măsură tehnică prin care un site restricționează accesul.
AutoScannerBot respectă fișierul robots.txt al fiecărui site pe care îl accesează, inclusiv regulile Crawl-delay. Ne potrivim cu grupurile User-agent: AutoScannerBot și User-agent: *. Dacă robots.txt interzice o pagină, nu o accesăm.
Robotul accesează cel mult una sau două pagini pe secundă de pe un site, de obicei mai puțin, cu cel mult câteva cereri simultane. Încetinește automat când site-ul răspunde greu sau ne cere să așteptăm (HTTP 429, Retry-After). Dacă un site ne refuză accesul, nu insistăm.
Nu preluăm numele, telefonul sau adresa vânzătorului. Numerele de telefon și adresele de e-mail din textul anunțurilor sunt mascate automat. Detalii în politica de confidențialitate.
Cel mai simplu: adăugați în robots.txt
User-agent: AutoScannerBot Disallow: /
Ne oprim la următoarea citire a fișierului (în câteva ore). Sau scrieți-ne la [email protected]: oprim preluarea de pe site-ul dumneavoastră și, dacă cereți, scoatem anunțurile deja preluate. Tot acolo ne puteți scrie dacă robotul vă creează probleme sau dacă doriți un ritm diferit.