سلام استاد خسته نباشین
یه سوالی برام پیش اومده :
ما تو فایل robots.txt به ربات ها میگیم که به چه فایل هایی دسترسی داشته باشن و به چه فایل ها یا صفحاتی دسترسی نداشته باشن .
حالا ما باید بیایم برای دونه دونه از صفحاتمون allow بزنیم و بگیم که به این صفحات دسترسی داشته باشه .
این کار یکم سخت نیست .
میشه به ربات ها بگیم که فقط به فلان فایل و صفحه دسترسی نداشته باشن و بعدش به همه صفحات دسترسی داشته باشن ؟
یا اصلا من میخوام ربات به همه ی فایل های ما و صفحات ما دسترسی داشته باشه فقط دستور allow * رو بزنم ؟
الان برای یه سایتی این فایل رو نوشتن :
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
به ربات ها گفتن که به wp-admin دسترسی نداشته باشن و به /wp-admin/admin-ajax.php دسترسی داشته باشن . پس تکلیف بقیه ی صفحاتتون و محتویات سایت چی میشه ؟
واقعیتش من یکم گیج شدم و نمیدونم که چیکار کنم .
ما تو سایت مپ هم به گوگل تمام لینک ها و صفحاتمون رو معرفی میکنیم . پس robots.txt به چه درد میخوره ؟
ممنون
پاسخ با نقل قول
