سوال: آموزش ساخت روبو تکست [بایگانی]

mohsen.nsb44

پنج شنبه 12 مرداد 1391, 16:33 عصر

سلام میشه یک نمونه بزارین که چطور میشه
robots.txt

رو ساخت و ازش استفاده کرد؟
پس از ساخت اون رو باید در پوشه https.docs ریخت یا جای دیگری قرار داد؟

afg_javan

پنج شنبه 12 مرداد 1391, 17:16 عصر

بر روی این لینک کلیک کنید (http://www.mcanerin.com/EN/search-engine/robots-txt.asp)
این یک وبسایت هست که اینکار رو برای شما به صورت بسیار ساده انجام می ده
شما فقط کافیه دایرکتوری رو که مایل نیستید در جستجوگرها لیست شوند رو به آن معرفی کنید.

نوشتنش هم زیاد سخت نیست.
اگه می خوای بیشتر در مورد کدهاش بدونی اینجا رو کلیک کن (http://www.robotstxt.org/robotstxt.html)

اما این فایل باید در روت سایت (جایی که سورس شما در آنجا قرار دارد) قرار دهید و در نهایت دسترسی به این فایل به صورت زیر امکان پذیر باشد
www.siteman.com/robots.txt