ورود

View Full Version : تشخیص ربات یا انسان بودن بازدید کننده از سایت


sara_aryanfar
شنبه 10 فروردین 1392, 13:28 عصر
با سلام چه راه هایی هست که ما تشخیص بدیم که صفحه درخواست شده از سایت ما توسط یک کاربر عادی درخواست شده یا توسط یک ربات و خزنده؟
clover
شنبه 10 فروردین 1392, 14:37 عصر
از ساده ترین راه ها بررسی IP و User Agent هست. خزنده های معروف تعدادشون زیاد نیست. می تونید به سادگی یک لیست از IP و User Agent اون ها رو جمع آوری و بررسی کنید و تشخیص بدید که فلان خزنده هست. با این حال بابت خزنده های ناشناس درصدی هم خطا خواهید داشت که میشه ازش صرف نظر کرد. از طرفی معمولا Referrer خزنده ها null هست.

این رو هم اضافه کنم که در صورتی که قصد مسدود کردن خزنده ها رو دارید به راحتی با Captcha (یک بار برای هر IP کافی هست) می تونید این کار رو انجام بدید.

در این مقاله توضیحاتی داده شده:
http://www.jafsoft.com/searchengines/spider_hunting.html

همینطور در اینجا لیستی از خرنده ها و مشخصاتشون وجود داره:
http://www.jafsoft.com/searchengines/webbots.html
sara_aryanfar
شنبه 10 فروردین 1392, 14:57 عصر
خزنده مورد نظر من کلا نا شناس هست و اساسا از الگوریتم های اون آگاهی ندارم من می خوام سایت برای کاربران و چند خزنده مشهور باز باشه مثل گوگل و یاهو و بقیه نتونن توش فعالیت کنن
clover
شنبه 10 فروردین 1392, 15:01 عصر
خزنده مورد نظر من کلا نا شناس هست و اساسا از الگوریتم های اون آگاهی ندارم من می خوام سایت برای کاربران و چند خزنده مشهور باز باشه مثل گوگل و یاهو و بقیه نتونن توش فعالیت کنن

این رو هم اضافه کنم که در صورتی که قصد مسدود کردن خزنده ها رو دارید به راحتی با Captcha (یک بار برای هر IP کافی هست) می تونید این کار رو انجام بدید.

خزنده های معروف رو باز بذارید، بقیه IP ها رو با Captcha بررسی کنید.
sara_aryanfar
شنبه 10 فروردین 1392, 15:05 عصر
یعنی آیپی مورد نظر قبل از دسترسی به سایت مجبور به وارد کردن کپچا بشه ؟
در این مورد توضیح بدین و اینکه چه تاثیراتی در گوگل داره چون فکر می کنم آماده کردن سایت در دو حالت رو نمی پسنده
clover
شنبه 10 فروردین 1392, 15:39 عصر
یعنی IP که چند بار درخواست داده رو (مثلا 5 بار یا بیشتر) در درخواست بعدی یه کپچا بهش نشون بدید. در واقع هیچ صفحه ی دو حالتی وجود نداره.
مسلما این روش خوبی نیست اما چاره ی دیگه ای هم فکر نمی کنم داشته باشید. یه راه حل دیگه هم اینه که IP هایی که بدون Referrer هست رو به صورت دستی و دوره ای چک کنید و اگر متعلق به روبات ها هست اون ها رو مسدود کنید. این روش رو بیشتر می پسندم تا روش قبلی.