Robots.txt-Validator
Validiere und teste robots.txt-Dateien gegen bestimmte URLs und User-Agents. Prüfe, ob eine URL erlaubt oder blockiert ist. Kostenlos, 100% in deinem Browser.
Referenz
Was ist robots.txt?
Die robots.txt-Datei ist ein Standard, der Webcrawlern mitteilt, welche Seiten oder Bereiche einer Website gecrawlt werden dürfen und welche nicht. Sie wird im Stammverzeichnis der Website platziert und von allen großen Suchmaschinen respektiert.
Direktiven
User-agent — gibt den Bot an, für den die Regel gilt. Disallow — blockiert das Crawlen eines Pfades. Allow — erlaubt das Crawlen eines bestimmten Pfades. Sitemap — gibt den Standort der Sitemap an. Crawl-delay — empfiehlt eine Verzögerung zwischen Anfragen.
Anwendungsfälle
SEO — sicherstellen, dass wichtige Seiten nicht blockiert sind. Entwicklung — robots.txt vor Veröffentlichung testen. Audit — Regeln für bestimmte Bots überprüfen. Debugging — Indexierungsprobleme diagnostizieren.
Datenschutz
Alle Verarbeitung läuft 100% in deinem Browser. Es werden keine Daten an Server gesendet.