robots.txt Validator
Validera och testa din robots.txt-fil. Kontrollera URL-åtkomst för specifika User-Agents. Syntaxvalidering av direktiv. Gratis, 100 % i din webbläsare.
Referens
Vad är robots.txt?
robots.txt är en textfil i roten av en webbplats som berättar för sökmotorbotar och andra crawlers vilka sidor som får eller inte får indexeras. Det är ett standardprotokoll (Robots Exclusion Protocol) som följs av stora sökmotorer.
Direktiv
User-agent — anger vilken bot reglerna gäller för. Allow — tillåter åtkomst till den angivna sökvägen. Disallow — blockerar åtkomst till den angivna sökvägen. Sitemap — anger URL:en till webbplatskartan. * — jokertecken för alla botar.
Användningsområden
SEO-optimering — kontroll av sidindexering av sökmotorer. Innehållsskydd — blockering av åtkomst till administrationssektioner. Crawlerkontroll — kontroll av botbelastning. Felsökning — kontrollera varför sidor inte indexeras.
Integritet
All bearbetning körs 100 % i din webbläsare. Ingen data skickas någonsin till en server — allt stannar på din enhet.