robots.txt valideerija
Valideeri ja testi oma robots.txt-faili. Kontrolli URL-i ligipääsu konkreetsetele User-Agentidele. Direktiivide süntaksi valideerimine. Tasuta, 100 % sinu brauseris.
Viide
Mis on robots.txt?
robots.txt on tekstifail veebisaidi juurkataloogis, mis ütleb otsingumootorite robotitele ja teistele roomajatele, milliseid lehti tohib või ei tohi indekseerida. See on standardprotokoll (Robots Exclusion Protocol), mida suuremad otsingumootorid järgivad.
Direktiivid
User-agent — määrab, millisele robotile reeglid kehtivad. Allow — lubab ligipääsu määratud teele. Disallow — blokeerib ligipääsu määratud teele. Sitemap — määrab saidikaardi URL-i. * — jokkerimärk kõigile robotitele.
Kasutusjuhud
SEO optimeerimine — lehtede indekseerimise haldamine otsingumootorites. Sisu kaitse — ligipääsu blokeerimine haldussektsioonidele. Roomajate haldamine — bottide koormuse kontrollimine. Silumine — kontrollimine, miks lehti ei indekseerita.
Privaatsus
Kogu töötlus toimub 100 % sinu brauseris. Ühtegi andmeid ei saadeta kunagi serverisse — kõik jääb sinu seadmesse.