PDA

View Full Version : فایل robots.txt



jaykob
جمعه 05 فروردین 1390, 17:08 عصر
سلام دوستان

در رابطه با فایل robots.txt فلسفه اون رو می دونم و یکی از عوامل سئو هستش . فقط طبق جستجو هایی که کردک دیدم که می تونیم یکسری فولدر هایی رو از اسپایدر ها دور نگه داریم . خوب حالا به طور مثال این یک نقص می شه که ما پنل ادمین رو بزاریم داخل این فایل . اگر این فایل رو به صورت خالی بزاریم مشکلی نیست ؟ یا بودن و نبودنش مهم نیست ؟ و بیایم پنل مدیریت رو با استفاده از متا تگ ها از دید اسپایدر ها دور کنیم . بهترین راه حل چیه ؟

با تشکر از دوستان

Javad.Kashi
جمعه 05 فروردین 1390, 20:44 عصر
سلام
دوست عزیز در ابتدا به شما توصیه می کنم در مورد robots.txt (http://www.robotstxt.org) ها بیشتر تحقیق کنید.

این گونه فایل ها هیچ گونه امنیتی را برای اطلاعات سایت شما ایجاد نمی کنند بلکه به robotها (also known as Web Wanderers, Crawlers, or Spiders) می فهمانند که چه اطلاعاتی را index نکنند و غیره .منبع (http://www.robotstxt.org/robotstxt.html)

یا علی