ورود

View Full Version : سوال: توضیح در مورد فایل robots.txt



malloc
یک شنبه 03 دی 1391, 01:33 صبح
سلام دوستان.

خیلی ممنون میشم یه توضیحاتی راجعبه فایل robots.txt بدید (توضیحات معمول که میگن برای جستجو گر و اینا خوبه رو میدونم).

خیلی خوب میشه اگه توضیحاتتون کلیشه ای نباشه .

و ممنون میشم یه نمونه خیلی ساده از همین فایل (مهم نیست واسه چه سایتی باشه) رو واسه دانلود بزارید

fakhravari
یک شنبه 03 دی 1391, 12:10 عصر
در کل روش جالبی نیست.
یه فایل robots.txt درست کنید.
User-agent:* دسترسی به همه
Disallow:/AfDanload_files/ دسترسی ندادن
---------------------
از تگ هایhtml برای جلو گیری استفاده کنید.
<meta name="robots" content="index, follow">
<meta name="GOOGLEBOT" content="NOARCHIVE"></meta>
<meta name="ROBOTS" content="NOINDEX,NOFOLLOW"></meta>
کد های بالا برای جلو گیری استفاده میشود.

malloc
یک شنبه 03 دی 1391, 12:56 عصر
خوب فخرآوری جان اینا تقریبا همون کلیشه ای هستن که میگفتم.
من فقط میخوام گوگل یا هر موتور جستجوگر دیکه ای خیلی راحت بیاد و سایت منو بگرده ؟؟

من داخل فایل تکست اینا رو نوشتم هیچکاری نمیکنه . یعنی یجورایی انگار فقط نوشتن تو فایل txt کافی نیست باید یجایی یجوری این فایل رو به پروژه معرفی کنم :

User-agent: *
Disallow: /images/

وضمنا این که میگید روشه جالبی نیست ؟ چرا اینو میگی آخه موتور های جستجوگر به این فایل نیگاه میکنن.

یه نمونه هم اگه بزارید واقعا ممنون میشم . آخه تاحالا یه نمونه عملی ندیدم.

الان دوخط کد بالا نوشتم که خط دومش رو هم الکی نوشتم . یعنی فایل robote من همش یه خط داره:خجالت: خوب خجالت داره دیگه. نمیدونم چی و چطور توش باید بنویسم

fakhravari
یک شنبه 03 دی 1391, 14:22 عصر
خب اره.
2 خط بیشتر نیست.
http://forums.asp.net/t/1228171.aspx

aspmaker
یک شنبه 03 دی 1391, 17:26 عصر
به نظرم ازش استفاده نکنید بهتره!
اولاً کار خاصی رو برای بهتر دیده شدن سایتتون انجام نمیده چون اطلاً تاثیری در این کار نداره! (فقط به Crawler میگه کجاه ها رو می تونه بره یا نره)
ثانیاً اگر بخشی رو Disalow کنید به بعضی ها که نسبت به این کلمات ارادت خاصی دارند در باغ سبز نشون دادید!

به جاش از Sitemap که خیلی بیشتر از این چیزا در بهتر ایندکس شدن و جستجوی سایت اهمیت داره استفاده کنید.

موفق باشید.

malloc
یک شنبه 03 دی 1391, 17:52 عصر
به نظرم ازش استفاده نکنید بهتره!
اولاً کار خاصی رو برای بهتر دیده شدن سایتتون انجام نمیده چون اطلاً تاثیری در این کار نداره! (فقط به Crawler میگه کجاه ها رو می تونه بره یا نره)
ثانیاً اگر بخشی رو Disalow کنید به بعضی ها که نسبت به این کلمات ارادت خاصی دارند در باغ سبز نشون دادید!

به جاش از Sitemap که خیلی بیشتر از این چیزا در بهتر ایندکس شدن و جستجوی سایت اهمیت داره استفاده کنید.

موفق باشید.

دوست عزیز میفهمم چی میگی ولی نکته اینجاست من نمیخوام جایی رو Disalow کنم میخوام فقط این فایل رو داشته باشم و جایی هم Disalowنمیخوام استفاده کنم فقط یه خط اولی که به همه اجازه میده رو میخوام داشته باشم.
و فقط نمیدونم چطور این فایل و به پروژه اضافه کنم . یعنی چطور به پروژه معرفیش کنم.

راجعبه سایت مپ هم همین داستانه .
یعنی یه سایت خارجی پیدا کردم که online میسازه. اما اونم نمیدونم چطور به پروژه معرفی کنم.

مثل اینکه این دوتا فایل و وقتی تو ریشه میزاری کافی نیست و باید یجور دیگه ای به پروژه اضافه کنی؟؟؟

اینم متن فایل sitmap.xml

<?xml version="1.0" encoding="UTF-8"?>
<urlset
xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http://www.sitemaps.org/schemas/sitemap/0.9
http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd">
<!-- created with Free Online Sitemap Generator www.xml-sitemaps.com -->

<url>
<loc>http://ndt.somee.com/</loc>
<changefreq>yearly</changefreq>
<priority>1.00</priority>
</url>
<url>
<loc>http://ndt.somee.com/Gallery.aspx</loc>
<changefreq>yearly</changefreq>
<priority>0.80</priority>
</url>
</urlset>

sh-eng
دوشنبه 04 دی 1391, 08:42 صبح
یعنی فایل رو اضافه کردیم حتما این دو خط رو هم باید بنویسیم؟

از تگ هایhtml برای جلو گیری استفاده کنید.
<meta name="robots" content="index, follow">
<meta name="GOOGLEBOT" content="NOARCHIVE"></meta>
<meta name="ROBOTS" content="NOINDEX,NOFOLLOW"></meta>
کد های بالا برای جلو گیری استفاده میشود.[/QUOTE]