جلوگیری از ایندکس شدن صفحات مربوط به paging

[idocsidocs]

همونطور که می دونید وقتی تعداد مقالات سایت زیاد باشن، از صفحه بندی یا paging استفاده می کنیم تا هر صفحه 10 یا 25 مقاله رو نمایش بده.

من توی خیلی از سایتها دیدم که هیچ محدودیتی ندارن و اگر عدد مربوط به صفحه بندی رو بصورت دستی زیاد کنیم، یه صفحه نمایش داده می شه و می گه هیچ موردی یافت نشد.

آیا راهی نیست که جلوی ایندکس شدن این صفحات رو بگیریم؟

[MMSHFE]

منظورتون رو از ایندکس شدن متوجه نمیشم. میشه دقیقتر توضیح بدین؟

[idocsidocs]

فرض کنید ما 20 تا مقاله داریم و توی هر صفحه 10 تا مقاله رو نشون می دیم.

آدرس صفحات موجود باید بصورت زیر باشه:


site.com/paper.php?id=1
site.com/paper.php?id=2

اما اگر کاربری بیاد و آدرسی شبیه به آدرسهای زیر وارد کنه، بجای صفحه 404 معمولا یه صفحه نمایش داده می شه و به کاربر می گن که مطلبی یافت نشد. این لینک ها هم توسط موتور جستجو ایندکس می شن !
چطور می شه جلوی این کار رو گرفت؟


site.com/paper.php?id=11111
site.com/paper.php?id=2000

[plague]

این ربطی به موتور جستجو نداره , این حالت فقط برای کاربرای حقیقی بوجود میاد نه برای موتور جستجو
یه سری مسیر ها هست که به صفحات سایت ما منتهی میشه این مسیر ها به صورت لینک قرار دارن توی سایت مثل لینک صفحه یک , لینک صفحه دو , لینک صفحه سه
موتور جستجو این لینک ها رو دنبال میکنه
اما id=2000
همچین لینکی توی سایت وجود نداره که به این صفحه منتهی بشه و این صفحه ایه که یوزر احتمالا خرابکار با یو ار ال وارد میکنه
موتور جستجو مثل یه آدم کور میمونه که میاد توی سایت و دست میزنه به در و دیوار تا ببینه کجا راه هست که بره , همچنین لینکی رو چک نمیکنه چون لینکی که منتهی بشه به اون وجود نداره توی سایت

[eshpilen]

من فکر کردم منظورش اینه که یک نفر ممکنه لینک اشتباهی جایی بذاره؛ مثلا فرض کنم من بیام توی وبلاگ خودم این لینک رو بذارم: site.com/paper.php?id=2000
حالا موتور جستجو میاد و این لینک رو میخونه و ایندکس میکنه. ولی یحتمل چون متن مفیدی در این صفحه پیدا نمیشه که بدرد سرچ مردم توی گوگل بخوره، بنابراین احتمال زیادی نمیره که این صفحه بعنوان نتیجهء جستجوی کسی بیاد. ولی از طرف دیگه شاید گوگل بر اساس محتویات صفحه ای که توش این لینک آمده هم اون رو طبقه بندی کنه.

حالا اگر این واقعا مشکلی ایجاد کنه و کسی بخواد خیلی حساس و دقیق باشه، میتونه User agent رو بخونه و اگر روبات موتور جستجو بود، بجای پیام معمولی به کاربر یک HTTP status code خاص (مثلا 404) رو برگردونه که در نتیجه موتور جستجو از ایندکس کردن اون صفحه صرفنظر میکنه احتمالا!

[eshpilen]

اما اگر کاربری بیاد و آدرسی شبیه به آدرسهای زیر وارد کنه، بجای صفحه 404 معمولا یه صفحه نمایش داده می شه و به کاربر می گن که مطلبی یافت نشد. این لینک ها هم توسط موتور جستجو ایندکس می شن !
چطور می شه جلوی این کار رو گرفت؟
کاربر plague (http://barnamenevis.org/member.php?123420-plague) در بالاتر توضیح داده.
اما بازم برای رفع ابهام و اطمینان بیشتر باید بگم موتور جستجو همینطوری از آدرسهایی که کاربران خودشون ایجاد و باز میکنن خبردار نمیشه که بخواد ایندکس بکنه.
تنها اگر اون لینک در جایی در اینترنت ثبت بشه هست که امکان داره موتور جستجو پیداش کنه.
موتور جستجو از کجا میفهمه من چه آدرسی رو در مرورگر خودم وارد کردم؟ این ارتباط فقط بین مرورگر بنده و سایت شماست و موتور جستجو نمیتونه همینطوری ازش اطلاع پیدا کنه.

[idocsidocs]

موتور جستجو از کجا میفهمه من چه آدرسی رو در مرورگر خودم وارد کردم؟ این ارتباط فقط بین مرورگر بنده و سایت شماست و موتور جستجو نمیتونه همینطوری ازش اطلاع پیدا کنه.
خیلی راحت می شه رفت توی گوگل و هر لینکی رو ثبت کرد ! پس غیر ممکن نیست

حالا اگر این واقعا مشکلی ایجاد کنه و کسی بخواد خیلی حساس و دقیق باشه، میتونه User agent رو بخونه و اگر روبات موتور جستجو بود، بجای پیام معمولی به کاربر یک HTTP status code خاص (مثلا 404) رو برگردونه که در نتیجه موتور جستجو از ایندکس کردن اون صفحه صرفنظر میکنه احتمالا!
الان من در مواقعی که کاربر عمدان لینکها رو وارد کنه کاربر رو مستقیما به صفحه 404 ریدایرکت می کنم ولی بنظرم بهتره که فقط هدر 404 رو ارسال کنم.

[MMSHFE]

یک راه دیگه هم هست: اگه مطلبی که توی لینک مشخص شده پیدا نشد، صفحه اصلی سایت رو با Redirect بیارین. اینطوری بالأخره یک مطلب برای هر لینک وجود داره.

[eshpilen]

خیلی راحت می شه رفت توی گوگل و هر لینکی رو ثبت کرد ! پس غیر ممکن نیست

چی غیرممکن نیست؟
منظورت از چه راهی هست دقیقا؟

[idocsidocs]

بنظرم اگه توی صفحه مورد نظر هیچ مطلبی وجود نداشت، یه هدر 404 بفرستیم و محتوای صفحه رو هم به کاربر نشون بدیم.

اینطوری از ایندکس شدن جلوگیری می کنیم و وب سایت هم کار عادی خودش رو انجام می ده.

بنظرتون این روش درست هست یا نه؟