Nakijken
robots.txt nakijken
Alleen openbare pagina’s, één tegelijk
Gratis, tot 30 aanvragen per 10 minuten per bezoeker.
Alleen openbaar, zelf ingegeven
Snoei leest alleen pagina’s die iedereen zonder login kan zien, en alleen het adres dat jij ingeeft. Loginpagina’s slaat het over.
Geen e-mailadressen of telefoonnummers
Snoei weigert die te verzamelen. Links naar mailto: en tel: worden enkel geteld, nooit getoond of geëxporteerd.
Auteursrecht blijft
Teksten, tabellen en afbeeldingen blijven van wie ze maakte. Gebruik ze om na te kijken of te citeren met bron, niet om over te nemen.
Eén pagina tegelijk
Geen hele sites doorzoeken. Snoei leest wat jij ingeeft, kijkt hoogstens de links of taalversies van die ene pagina na, volgt robots.txt en houdt het tempo laag.
Zo werkt het
robots.txt nakijken in drie stappen
Plak het adres
Van de site of van een pagina erop; Snoei kijkt naar /robots.txt van die site.
Lees de regels
Snoei toont de groepen per bot, de sitemaps en regels die het niet begrijpt, met regelnummers.
Test een pad
Kies een bot en typ een pad. Je ziet meteen of het mag en welke regel beslist; die regel licht op in het bestand.
Vragen
Goed om te weten
Welke regel wint als er meerdere passen?
De langste regel die past, volgens de norm RFC 9309. Zijn een Allow en een Disallow even lang, dan wint Allow. Een * staat voor eender wat en een $ voor het einde van het adres.
Is robots.txt een slot op de deur?
Nee, het is een vraag aan nette bots. Wie echt iets geheim wil houden, zet het achter een login. Snoei volgt robots.txt altijd.
Wat als een site geen robots.txt heeft?
Dan mag alles. Geeft de server een fout (5xx), dan mag volgens de norm voorlopig niets; Snoei leest die site dan niet.