Robots.txt ভ্যালিডেটর

রেফারেন্স

Robots.txt কী?

Robots.txt ওয়েবসাইটের রুটে রাখা একটি ফাইল যা সার্চ ইঞ্জিন ক্রলারদের জানায় কোন পেজগুলি তারা অ্যাক্সেস করতে পারে। এটি Robots Exclusion Protocol-এর অংশ এবং SEO ও ওয়েবসাইট পরিচালনার একটি গুরুত্বপূর্ণ অংশ।

ডিরেক্টিভ

User-agent — লক্ষ্য ক্রলার বট নির্দিষ্ট করে। Disallow — নির্দিষ্ট পাথ ক্রল করা থেকে বিরত রাখে। Allow — Disallow নিয়ম ওভাররাইড করে নির্দিষ্ট পাথ অনুমোদন করে। Sitemap — XML সাইটম্যাপের URL নির্দেশ করে। Crawl-delay — অনুরোধের মধ্যে অপেক্ষার সময় নির্দিষ্ট করে।

ব্যবহারের ক্ষেত্র

SEO অডিট — যাচাই করুন গুরুত্বপূর্ণ পেজ ব্লক নেই। ডিবাগিং — নির্দিষ্ট URL ক্রলারের জন্য অনুমোদিত কিনা যাচাই করুন। সিনট্যাক্স যাচাই — robots.txt ডিরেক্টিভে ত্রুটি খুঁজুন। মাইগ্রেশন — সাইট মাইগ্রেশনের আগে নিয়ম ভ্যালিডেট করুন।

গোপনীয়তা

সমস্ত ভ্যালিডেশন 100% আপনার ব্রাউজারে চলে। কোনো ডেটা কোনো সার্ভারে পাঠানো হয় না — সবকিছু আপনার ডিভাইসে থাকে।