PDA

View Full Version : آیا فایل robots را صحیح نوشتم ؟


mmnoody2006
سه شنبه 12 بهمن 1389, 15:01 عصر
سلام فایا robots رو به شکل زیر نوشتم آیا درسته ؟



User-agent: *
Allow: /
Disallow: /admin/
mehdi.mousavi
سه شنبه 12 بهمن 1389, 15:45 عصر
سلام.
بخش Allow رو حذف کنید:


User-agent: *
Disallow: /admin/موفق باشید.
Javad.Kashi
سه شنبه 12 بهمن 1389, 16:13 عصر
سلام دوست عزیز
بنا بر تحقیقات بنده فایل شما صحیح می باشد.و به همه Web Robots ها(Crawler ها) اجازه دسترسی به تمام فایل های شما به غیر از فولدر admin را می دهد.

چند تا لینک برای کسب اطلاع بیشتر در مورد Web Robot ها:
http://www.google.com/support/webmasters/bin/answer.py?answer=35237
requires a Google Account

http://www.robotstxt.org (http://www.robotstxt.org/)

یا علی
mehdi.mousavi
سه شنبه 12 بهمن 1389, 17:14 عصر
سلام دوست عزیز بنا بر تحقیقات بنده فایل شما صحیح می باشد.

سلام.
درسته، اما نوشتن Allow باعث سردرگمی افرادی میشه که کار Maintenance رو عهده دار هستن. بصورت پیش فرض، Crawler ها دسترسی لازم به بخشهای غیر Protected رو دارن، بنابراین فقط کافیه تا در فایل robots.txt بخشهایی که این Crawler ها اجازه دسترسی به اونها رو ندارن بیاریم.

موفق باشید.