বিস্ময় অ্যানসারস এ আপনাকে সুস্বাগতম। এখানে আপনি প্রশ্ন করতে পারবেন এবং বিস্ময় পরিবারের অন্যান্য সদস্যদের নিকট থেকে উত্তর পেতে পারবেন। বিস্তারিত জানতে এখানে ক্লিক করুন...
146 জন দেখেছেন
"SEO ?" বিভাগে করেছেন (10,983 পয়েন্ট)

1 উত্তর

0 টি পছন্দ
করেছেন (10,983 পয়েন্ট)

“মো:রেজওয়ানুল আলম” তার ব্লগে বলেছেন – -

robots.txt ফাইল দিয়ে সার্চ ইন্জিনের বট,ক্রাউলার এবং স্পাইডার সাইটের কোন্ কোন্ পেজ দেখবে এবং কোন্ কোন্ পেজ দেখবেনা এসব নিয়ন্ত্রন করা যায়।এই নিয়ন্ত্রনের পদ্ধতিকে বলা হয় রোবটস এক্সক্লুসন প্রটোকল (Robots Exclusion Protocol) বা রোবটস এক্সক্লুসন স্টান্ডার্ড (Robots Exclusion Standard) .এই ফাইল তৈরীর আগে এখানে ব্যবহৃত কিছু চিহ্ন চিনে নেয়া যাক

Robots.txt Protocol – Standard Syntax & Semantics
অংশ/চিহ্ন বর্ননা
User-agent: নির্দেশ করে রোবট(সমূহ)কে
* Wildcard. User-agent: * এটার অর্থ সব রোবট
disallow: প্রতিটি লাইন disallow: দিয়ে শুরু হয়।এরপরে আপনি / দিয়ে URL path ঠিক করে দিতে পারেন।এতে করে ওই path বা ফাইল বা ওই পেজ আর রোবট ক্রাউল করবেনা।যদি কোন path না দেন অথ্যাৎ ফাকা থাকে তাহলে disallow কাজ করবে allow এর।
# কমেন্ট করার জন্য।এটার পরে কোন লাইন এজন্য লেখা হয় যাতে এই লাইনটি পরে বোঝা যায় যে নিচের কোডগুলি কি বিষয়ক হবে।

Disallow ফিল্ড আংশিক বা পূর্নাঙ্গ URL উপস্থাপন করতে পারে।/ চিহ্নের পর যে path উল্লেখ থাকবে সেই path রোবট ভিজিট করবেনা।যেমন

Disallow: /help

#disallows both /help.html and /help/index.html, whereas

Disallow: /help/

# would disallow /help/index.html but allow /help.html

কিছু উদাহরন

সব রোবট অনুমোদন করবে করবে সব ফাইল ভিজিটের জন্য (wildcard “*” নির্দেশ করে সব রোবট)

User-agent: *
Disallow:

সব রোবট কোন ফাইল ভিজিট করবেনা

User-agent: *
Disallow: /

গুগলবট এর শুধু ভিজিটের অনুমোদন থাকবে বাকি কেউ ভিজিট করতে পারবেনা

User-agent: GoogleBot
Disallow:

 

User-agent: *
Disallow: /

গুগলবট এবং ইয়াহুস্লার্প এর শুধু ভিজিটের অনুমোদন থাকবে বাকি কারো থাকবেনা

User-agent: GoogleBot
User-agent: Slurp
Disallow:

 

User-agent: *
Disallow: /

কোন একটা নির্দিষ্ট বটের ভিজিট যদি বন্ধ করতে চান তাহলে

User-agent: *
Disallow:

 

User-agent: Teoma
Disallow: /

এই ফাইলটি দ্বারা যদি আপনার সাইটের কোন URL বা পেজ crawl করা বন্ধ করে দেন তারপরেও কিছু সমস্যার কারনে এই পেজগুলি কোথাও কোথাও দেখাতে পারে।যেমন রেফারেল লগ এ URL গুলি দেখাতে পারে।তাছাড়া কিছু কিছু সার্চ ইন্জিন আছে যাদের এলগরিদম খুব উন্নত নয় ফলে এসব ইন্জিন থেকে যখন স্পাইডার/বোট crawl করার জন্য পাঠায় তখন এরা robots.txt ফাইলের নির্দেশনাকে উপেক্ষা করে আপনার সব URL crawl করে যাবে।

 

সম্পর্কিত প্রশ্নগুচ্ছ

0 টি উত্তর
14 ফেব্রুয়ারি 2019 "SEO ?" বিভাগে জিজ্ঞাসা করেছেন অজ্ঞাতকুলশীল
1 উত্তর
25 ফেব্রুয়ারি 2014 "SEO ?" বিভাগে জিজ্ঞাসা করেছেন Ferdausi (10,983 পয়েন্ট)
1 উত্তর
1 উত্তর
25 নভেম্বর 2018 "সাধারণ" বিভাগে জিজ্ঞাসা করেছেন আল শাহরিয়া (71 পয়েন্ট)
1 উত্তর
22 ডিসেম্বর 2017 "জাভা" বিভাগে জিজ্ঞাসা করেছেন Sujonmax (518 পয়েন্ট)

364,776 টি প্রশ্ন

460,460 টি উত্তর

144,380 টি মন্তব্য

192,078 জন নিবন্ধিত সদস্য

বিস্ময় বাংলা ভাষায় সমস্যা সমাধানের একটি নির্ভরযোগ্য মাধ্যম। এখানে আপনি আপনার প্রশ্ন করার পাশাপাশি অন্যদের প্রশ্নে উত্তর প্রদান করে অবদান রাখতে পারেন অনলাইনে বিভিন্ন সমস্যার সমাধানের জন্য সবথেকে বড় এবং উন্মুক্ত তথ্যভাণ্ডার গড়ে তোলার কাজে।
...