robots.txt Validator
Valideer en test je robots.txt-bestand. Controleer URL-toegang voor specifieke User-Agents. Syntaxvalidatie van richtlijnen. Gratis, 100% in je browser.
Referentie
Wat is robots.txt?
robots.txt is een tekstbestand in de root van een website dat zoekmachinerobots en andere crawlers vertelt welke pagina's wel of niet geïndexeerd mogen worden. Het is een standaardprotocol (Robots Exclusion Protocol) dat door grote zoekmachines wordt nageleefd.
Richtlijnen
User-agent — geeft aan voor welke robot de regels gelden. Allow — staat toegang tot het opgegeven pad toe. Disallow — blokkeert toegang tot het opgegeven pad. Sitemap — geeft de URL van de sitemap aan. * — jokerteken voor alle robots.
Toepassingen
SEO-optimalisatie — beheer van pagina-indexering door zoekmachines. Contentbescherming — blokkeren van toegang tot beheersecties. Crawlerbeheer — controle van botbelasting. Debugging — controleren waarom pagina's niet worden geïndexeerd.
Privacy
Alle verwerking draait 100% in je browser. Er worden nooit gegevens naar een server verzonden — alles blijft op je apparaat.