যখন কোন Search Engine আপনার Website এ Crawl করতে আসে, তখন তাদের প্রায় অধিকাংশই আপনার robots.txt ফাইলটি খোঁজে। কারন এই ফাইলটি Search Engine কে বলে যে, তাদের কি Index করা উচিৎ এবং কি Index করা উচিৎ নয়। শুধু তাই নয় এটি আপনার Website এর Sitemap কোথায় আছে তাও বলে দিতে পারে।

আপনি অবশ্যই জানেন যে সকল Search Engine এর নিজস্ব Bot আছে। যেমন, Google এর Googlebot, Microsoft’s এর Bingbot ইত্যাদি বট যখন আপনার Website এ crawl অথবা তথ্য সংগ্রহ করতে আসে তখন প্রথমেই তা সরাসরি robots.txt এর কছে আসে। এক কোথায় বলতে গেলে Robots.txt ফাইল বেশির ভাগ Search Engine এর বট কে আপনার Website এর কোন content Search Engine এ আসবে কি আসবে না তা নির্ধারণ করতে সহযোগিতা করে। এই ফাইলটি আপনার সাইটের Error গুলো কে ইন্ডেক্স হতে বাধা দেয় যা আপনার SEO তে ইমপ্যাক্ট ফেলতে দেয় না।

Robots.txt ফাইল টি কোথায় থাকে ?

Robots.txt ফাইলটি আপনার Document Root Folder এই থাকে।

অথবা যদি না থাকে তাহলে আপনি কেবল robots.txt নাম দিয়ে একটি নতুন ফাঁকা ফাইল তৈরি করতে পারেন। তাহলেই robots.txt ফাইল তৈরি হয়ে যাবে। আপনি সেখানে আপনার প্রয়োজনীয় ইন্সট্রাকশন গুলো সেট করে দিতে পারবেন এবং Crawl BOT সেভাবেই কাজ করবে।

Search Engine bot এর Crawl করা বন্ধ করার পদ্ধতিঃ

আপনি যদি সকল Search Engine bot কে আপনার Website এর ডাটা crawl করতে দিতে না চান তাহলে robots.txt ফাইল টি edit করে নিচের code টি লিখুন অথবা copy করে paste করে দিনঃ

#Code to not allow any search engine!

User-agent: *

Disallow: / 

(নোটঃ আপনি যদি এই code টি ব্যাবহার করেন তাহলে আপনি আপনার সম্পূর্ণ website টিই সকল Search Engine bot এর crawling stop করছেন। যেমনঃ www.yourdomain.com)

আপনি যদি চান আপনার website এর কিছু অংশ Search Engine bot crawl করুক আর কিছু অংশ না করুন তাহলে আপনি তাও করতে পারেন। যেমন, আপনি চান যে আপনার Web directories এর abc, tem, junk ফোল্ডার crawl না করুক তাহলে আপনি এমন করে code লিখতে পারেনঃ

 # Blocks robots from specific folders / directories

User-agent: *

Disallow: /cgi-bin/

Disallow: /tmp/

Disallow: /junk/

(নোটঃ আপনি যদি এমন করে code লিখে ব্যাবহার করেন তাহলে আপনি আপনার website এর কিছু সিলেক্ট করা ফাইল সকল Search Engine bot এর crawling stop করছেন। যেমনঃ www.yourdomain.com/folder-name)

আরো বেশি তথ্য এবং অন্যান্য Code সমুহের জন্য সরাসরি robots.txt এর Official website থেকে দেখে আসতে পারেন।

Leave a Reply