Prüfen
robots.txt prüfen
Nur öffentliche Seiten, eine nach der anderen
Kostenlos, bis zu 30 Anfragen pro 10 Minuten pro Besucher.
Nur öffentlich, selbst eingegeben
Snoei liest nur Seiten, die jeder ohne Anmeldung sehen kann, und nur die Adresse, die Sie eingeben. Anmeldeseiten überspringt es.
Keine E-Mail-Adressen oder Telefonnummern
Snoei weigert sich, diese zu sammeln. Links zu mailto: und tel: werden nur gezählt, nie angezeigt oder exportiert.
Das Urheberrecht bleibt
Texte, Tabellen und Bilder gehören denen, die sie geschaffen haben. Nutzen Sie sie zum Prüfen oder zum Zitieren mit Quelle, nicht zum Übernehmen.
Eine Seite nach der anderen
Keine ganzen Websites durchsuchen. Snoei liest, was Sie angeben, prüft höchstens die Links oder Sprachversionen dieser einen Seite, beachtet robots.txt und hält das Tempo niedrig.
So funktioniert es
robots.txt prüfen in drei Schritten
Adresse einfügen
Von der Website oder einer Seite darauf; Snoei schaut auf /robots.txt dieser Website.
Regeln lesen
Snoei zeigt die Gruppen pro Bot, die Sitemaps und Regeln, die es nicht versteht, mit Zeilennummern.
Pfad testen
Wählen Sie einen Bot und geben Sie einen Pfad ein. Sie sehen sofort, ob er erlaubt ist und welche Regel entscheidet; diese Regel wird in der Datei hervorgehoben.
Fragen
Gut zu wissen
Welche Regel gewinnt, wenn mehrere passen?
Die längste passende Regel, nach der Norm RFC 9309. Sind ein Allow und ein Disallow gleich lang, gewinnt Allow. Ein * steht für Beliebiges und ein $ für das Ende der Adresse.
Ist robots.txt ein Schloss an der Tür?
Nein, es ist eine Bitte an anständige Bots. Wer etwas wirklich geheim halten will, stellt es hinter eine Anmeldung. Snoei befolgt robots.txt immer.
Was, wenn eine Website keine robots.txt hat?
Dann ist alles erlaubt. Liefert der Server einen Fehler (5xx), ist nach der Norm vorläufig nichts erlaubt; Snoei liest diese Website dann nicht.