تاثیر فوق العاده فایل robots.txt در سئوی سایت

[نیکام1]

فایل robots.txt یک فایل متنی ساده است که برای موتورهای جستجو تولید می شود که از
ورود خزنده ها به بخش هایی از سایت جلوگیری کند که تاثیر فوق العاده ای در سئو سایت
دارد برای آموزش ساختن این فایل به لینک http://www.nicom.ir/user/robots.txt.htm
مراجعه کنید

[actros]

تا جائی که من google webmaster tools رو دیدم ننوشته بود وجودش حیایته و تاثیری روی رنگ داره
جلوگیری از ورود Crawler ها به بخش های ممنوعه (ادمین و ...) تاثیری رو رنگ نداره
برای جلوگیری از ایندکس شدن صفحات ممنوعه می تونید از تگ متا زیر هم استفاده کنید:


<meta name="ROBOTS" content="NOINDEX, NOFOLLOW" />