robots.txt در گوگل

[pedram_ns]

سلام دوستان
می شه توضیح بدید که این robots.txt در گوگل چیه چون همیشه می نویسه که این فایل در وب سایت شما پیدا نشد باید چکار کنم؟ 404 (Not found)

البته باید بگم که من sitemap رو تهیه و در گوگل ثبت کردم ولی در قسمت crawl error یک ارور دارم که به صفحه اول سایتم اشاره می کنه و در توضیحاتش نوشته:

robots.txt timeoutدر قسمت crawler access هم نوشته robots.txt پیدا نشد.

[dousti_design]

یک فایل متنی هست که شما روی هساتتون آپ میکنی و وقتی روبات ها یا به اصطلاح همون کرم های گوگل میرن سایت شما رو بخونن اول این فایل رو میخونن تا ببینن مثلن به کدوم قسمت های سایت دسترسی ندارن.(disallow). یا اصلن میتونید کلن به گوگل اجازه ندید سایتتون رو بخونه یا فقط یه قسنتهایی رو اجازه ندید.

[pedram_ns]

نحوه نوشتنش به چه صورته؟ اصلا لازمه؟اون ارور timeout چیه؟

من تا به حال 4 سایت آپلود کردم که در همه از یک روش ساخت و ثبت سایت مپ استفاده کردم بقیه در حالی که حتی نزدیک یکسال از کار کردنشون می گذره چنین اروری ندادن ولی این آخری این ارور رو داره؟چرا؟؟؟؟؟؟؟؟؟؟؟؟

[dousti_design]

نحوه نوشتنش به چه صورته؟

http://www.mediawiki.org/wiki/Manual:Robots.txt
http://www.outfront.net/tutorials_02/adv_tech/robots.htm

اصلا لازمه؟
اگر میخاهید شرایط خاصی که در این فایل ذکر میشه رو به صفحاتتون اعمال کنید بله.

اون ارور timeout چیه؟
احتمالن باید از این باشه که شما اون فایل رو ایجاد نکردید و گوگل نمیتونه بهش دسترسی داشته باشه.

من تا به حال 4 سایت آپلود کردم که در همه از یک روش ساخت و ثبت سایت مپ استفاده کردم بقیه در حالی که حتی نزدیک یکسال از کار کردنشون می گذره چنین اروری ندادن ولی این آخری این ارور رو داره؟چرا؟؟؟؟؟؟؟؟؟؟؟؟
نمیدونم.اونو دیگه خودتون باید مشخص کنید باید ببینید توی هاستتون چه خبره