Freelancer Hridoy
Robots.txt কি

Robots.txt কি এবং কীভাবে তৈরি করে এসইও বাংলা টিউটোরিয়াল পঞ্চম পর্ব

Robots.Txt কি

আসসালামুআলাইকুম সবাই কেমন আছেন,
আশা করি সবাই ভালো আছেন।
আজকের এসইও বাংলা টিউটোরিয়ালে আমরা শিখব। Robots Txt কি এবং এটা কিভাবে তেরি করে এবং কিভাবে কাজ করে সেটা সম্পর্কে জানব।

Robots.Txt কী

আসলে আমি যে Robots.Txt বলেছি এটাকে সঠিক ভাবে বলা হয় Robots.Txt আজকে আমরা এই Robots.txt সম্পর্কে আলোচনা করব।
Robots.txt কিভাবে কাজ করে এবং কিভাবে তৈরি করে সে বিষয়ে সম্পুর্ন আলোচনা করব।

Robots.Txt কী(What is robots. txt)

Robots.txt হচ্ছে  একটি txt ফাইল। যে ফাইলটি search engine এর bot বা crawler কে  ওয়েবসাইটের কোন পেজে ঢুকতে দিবে এবং ওয়েবসাইটের কোন পেজগুলোতে ঢুকতে দিবে না তার একটি নীতি নির্ধারক ফাইল।

তার মানে আমরা এই Robots.txt file দ্বারা কন্ট্রোল করতে পারি যে আমাদের ওয়েবসাইটের কোন কোন পেজে google বা অন্যান্য সার্চ ইন্জিনের bot বা crawler ঢুকতে পারবে কি না।

এখন প্রশ্ন হতে পারে যে আমি যখন একটা ওয়েবসাইট খুলব তখন কেন আমি চাইব না যে আমার ওয়েবসাইটের সকল পেজে সার্চ ইন্জিনের bot ঢুকবেনা?
আমি তো অবশ্যই চাইব যে গুগল বা অন্যান্য সার্চ ইন্জিনের bot আমার ওয়েবসাইটের সকল পেজে ঢুকবে,তারপর সেগুলো ranking এ নিয়ে আসবে।

হ্যা আমরা তো এগুলোই চাই যে সার্চ ইন্জিন আমাদের  ওয়েবসাইটের  সকল পেজে ঢুকে Rank এ নিয়ে আসুক।

কিন্তু আপানার ওয়েবসাইটে এমন কিছু ব্যাক্তিগত পেজ থাকতে পারে যেগুলো আপনি অবশ্যই চাইবেন না প্রকাশিত হোক।
তাই আপনি সেগুলোতে চান সার্চ ইন্জিন যেন ঢুকতে না পারে এবং সেই পেজ গুলোকে প্রকাশিত করতে না পারে।

এমন একটা উদাহরন দিচ্ছি
ধরুন  facebook.com এর একটি পেজ আছে যেটা হলো messenger এবং আপনারা সবাই জানেন যে এই messenger এ সবাই তাদের ব্যাক্তিগত কথাগুলো বলে।
কিন্তু যদি সার্চ ইন্জিনের bot এই messenger পেজে ঢুকে এবং সেটাকে সকলের সামনে প্রকাশ করে দেয় তাহলে কি ঠিক হবে?

এতে গোপনীয়তা রক্ষা পাবে না।

আবার হতে পারে যে আপনি আপনার ওয়েবসাইটের একটি পেজে কিছু premium কোর্স রেখেছেন এবং সেগুলো শুধু premium member গুলো দেখতে পারবে।
এই পেজ টাতে যদি আপনি google এর bot কে ব্লক করে না রাখেন তবে দেখা গেল যে আপনার এই মুল্যবান কোর্স গুল google এর সার্চ রেজাল্টে চলে এসেছে।
এতে আপনার ক্ষতি হল।

ঠিক এই জিনিসটা থেকে রক্ষা পেতে search engine এর জন্য নীতিনির্ধারক file টির নাম হচ্ছে Robots.txt File.

আর আমরা আজকে শিখব যে কিভাবে এই robots.txt file তৈরি করে।

Robots. txt ফাইল তৈরি করে কিভাবে?(How to create robots. txt file)

Robots. txt ফাইল তৈরি করার সবথেকে সহজ উপায় হলো generator ব্যবহার করা।

তো আমার কাছে সবচেয়ে ভালো লেগেছে smallseotools.com এই ওয়েবসাইটের “robots.txt generator” টি

Robots.txt কি

তো আমরা প্রথমেই Google.com এ সার্চ করছি
“smal seo tools robots txt generator”  লিখে।
এবার উপরের ছবির মতো আমদের দেখানো সার্চ রেজাল্টে যান।

Robots.txt কি

এবার এরকম একটি পেজ আসবে।

এখানে by defult যেরকম আছে সেরকমই থাক।

Robots.txt কি
এখানে আমাদের কোন কাজ নেই।আমাদের কাজ হলো এই যে cgi bin লেখা আছে এখানে।

Robots.txt কি

এখানে দেখুন যোগ চিহ্ন দেয়া আচে।এখানে ক্লিক করলে উপরের ছবির মত  একটা ফাকা জায়গা আসবে।

Robots.txt কি

এবার এই ফাকা জায়গায় আমরা সেই পেজের লিংক টি বসাবো যে পেজ টা তে আমরা গুগলের bot কে ঢুকতে দিবনা।

লিংক কিভাবে কপি করবেন সেটা দেখে নিন।
প্রথমে আপনার ওয়েবসাইটের ভিতর যান।

তারপর যে পেজ টাতে গুগল bot কে ঢুকতে দিবেন না সেটার লিংক কিভাবে কপি করবেন সেটা উপরের ছবিতে দেয়া আছে।
তারপরেও আমি বলে দিচ্ছি যে কিভাবে করবেন।
দেখুন আমরা একটি পোস্টকে গুগল bot এর থেকে block করব।

Robots.txt কি

এবার দেখুন ওই পেজের লিংক এরকম আছে
https://freelancerhridoy.com/what-is-seo/

Robots.txt কি

এই লিংক থেকে শুধুমাত্র আমরা what-is-seo/ এটা কপি করে নিব।
তার মানে আমাদের মুল ডোমেইন বাদে যে অংশটুকু আছে সেটা পুরোটুকু কপি করে নিব।

Robots.txt কি

এবার উপরের ছবির মত ফাকা জায়গায় ওটা paste করে দিব।

Robots.txt কি

এবার উপরের ছবির মত create robot.txt তে ক্লিক করব।

এবার দেখুন robots.txt file. তৈরি হয়ে গেছে।

Robots.txt ফাইলটি এরকম

Robots.txt কি

Robot.txt এর বর্ননা (Description of robots.txt file)

এবার আমরা robots.txt file এর বর্ননা করব।

robots.txt file এরকম দেখতে হয়

Robots.txt কি

এখানে দেখুন user agent লেখা এবং এখানে  “*” দেওয়া আছে।

এই স্টার চিহ্ন(*) এর মানে হলো আমরা যে লিংক টি দিয়েছি সেই লিংকের পেজের জন্য সকল সার্চ ইন্জিন কে block করা হয়েছে।

এবার যদি আমি চায় যে এই পেজটি google bot দেখতে পারবেনা কিন্তু অন্য সার্চ ইন্জিনের bot দেখতে পারবে।

Robots.txt কি

তাহলে আপনাকে উপরের ছবির মত একটু উপরে লক্ষ করতে হবে।
দেখুন ওখান কিছু সার্চ ইন্জিনের নাম ও কিছু option দেয়া আছে।

Robots.txt কি

ওখানে গিয়ে উপরের ছবির মত আপনি যে সার্চ ইন্জিন কে আপনার এই পেজ টিতে অনুমতি দিবেন প্রবেশ করার জন্য সেটিকে allowed কর দিন।

Robots.txt কি

এবার  আবার create robots.txt তে ক্লিক করে robots.txt file তৈরি করুন।

এবার এরকম আসবে।

এখানে দেখবেন যে
user-agent এর জায়গায় slurp আর baiduspider লেখা আছে।
এর মানে হলো আমি baidu আর Yahoo  কে allowed করেছিলাম এর কারনে এদের bot এই পেজে প্রবেশ করতে পারবে।

Robots.txt কি

আবার নিচে দেখুন user-agent এর জায়গায় * দেয়া আছে।
এর মানে হলো yahoo আর baidu এই দুটি সার্চ ইন্জিন বাদে সকল সার্চ ইন্জিন কে ব্লক করা হয়েছে এই পেজে প্রবেশ করার জন্য।

Robos.txt file কিভাবে ওয়েবসাইটে ব্যবহার করবেন

আপনার wordpress website এ প্রবেশ করে দেখবেন yoast seo plugin এর seo নামক option আছে ওখানে  থেকে tools এ যান তারপর  File edotor এ যান

Robots.txt কি

Robots.txt কি

Robots.txt কি

ওখানে দেখুন robots এর জন্য একটি ফাকা আছে যেখানে আগে থেকেই। একটি robots.txt file আছে।
ওটা ডিলিট করে এটা কপি করে দিন এবং save করে দিন।
আপনার কাজ শেষ।

এখন yahoo আর baidu এর bot ছাড়া কোনো search engine এর bot ওই পেজে প্রবেশ করতে পারবে না।

তো কেমন লাগল আজকে টিউটোরিয়াল টা অবশ্যই জানাবেন।
আর robots.txt নিয়ে কোনো প্রশ্ন থাকলে কমেন্ট করুন।
ধন্যবাদ।

Freelancer Hridoy

Freelancer Hridoy

Add comment

Most popular

Most discussed