Amirhoo3in
مــدیـر بـازنشـسـتـه
- تاریخ ثبتنام
- Dec 27, 2013
- ارسالیها
- 1,083
- پسندها
- 913
- امتیازها
- 113
- محل سکونت
- ساحل کارون
- دل نوشته
- زندگی آبراهی است به نام وفا,میریزد توی جویی به نام صفا,میرود به رودی به نام عشق,میریزد به دریایی به نام وداع:(
اعتبار :
کنترل ربات ها يا اسپايدر موتورهاي جستجو در افزايش سئو و بهينه سازي سايتکاربرد بسزايي دارند. از اين دو دستور disallow / allow براي محدود کردن يا دسترسي دادن به يک پوشه استفاده مي شود.
محدود کردن <== /disallow:/path
دسترسی داشتن <== /allow:/path
دسترسی داشتن <== /allow:/path
نوشتن کلي درون فايل robots.txt به اين طريق اشتباه است:
/disallow:/Sales/ , /Shopping
allow:/site/search
allow:/site/search
دستور زير يعني هيچ روبوتي حق ورود ندارد:
*:user-agent
/:disallow
/:disallow
نوشتن توضيحات در فايل robots.txt با علامت # مي باشد:
all robots are allowed#
محدود کردن دسترسي به فايل هاي خاص:
$disallow:/*.gif
$disallow:/*.eps
$disallow:/*.eps
منع کردن ربات (دستور مخصوص موتور گوگل) از خواندن تمام پوشه هايي است که نام آنها با private شروع مي شوند:
/*disallow:/private
منع کردن ربات (گوگل) از بخش هايي که بلافاصله بعد از نام سايت هرچيزي آمده و بعد از آن علامت سؤال و بعد از علامت باز هر چيز ديگري آمده است:
?*/:disallow
مثال <== Mysite.com/step?finish
مثال <== Mysite.com/step?finish
نکته: به آدرس هايي که مي دهيد دقت داشته باشيد که بزرگي و کوچکي حروف را رعايت فرماييد.