مدقق Robots.txt
تحقق واختبر ملف robots.txt الخاص بك. تحقق مما إذا كان URL مسموحاً أو محظوراً، وتحقق من صحة التوجيهات. مجاني، 100% في المتصفح.
مرجع
ما هو robots.txt؟
Robots.txt هو ملف في جذر الموقع يُخبر زواحف محركات البحث بالصفحات التي يمكنها الوصول إليها. وهو جزء من بروتوكول استبعاد الروبوتات وجزء مهم من SEO وإدارة المواقع.
التوجيهات
User-agent — يحدد روبوت الزحف المستهدف. Disallow — يمنع زحف مسارات محددة. Allow — يتجاوز قاعدة Disallow لمسارات محددة. Sitemap — يشير إلى URL خريطة الموقع XML. Crawl-delay — يحدد وقت الانتظار بين الطلبات.
حالات الاستخدام
تدقيق SEO — تحقق من عدم حظر الصفحات المهمة. تصحيح الأخطاء — تحقق مما إذا كان URL مسموحاً للزواحف. فحص النحو — اعثر على أخطاء في توجيهات robots.txt. الترحيل — تحقق من القواعد قبل ترحيل الموقع.
الخصوصية
جميع عمليات التحقق تتم بنسبة 100% في متصفحك. لا يتم إرسال أي بيانات إلى أي خادم — كل شيء يبقى على جهازك.