hivabot چیه؟

[numberone1]

سلام
یک ویزیتور ثبت شده برای من نوع مرورگرش خورده
hivaBot/hivaBot-0.2
و آی پی هم خورده
5.144.134.18
من همین و توی گوگل سرچ کردم انگار بعضی دیگه از سایت ها رو هم بازدید کرده ولی هیچ اطلاعاتی ازش نبود که چی هست چجوری کار میکنه و ...؟!
آی پی هم برای همه سایت هائی که بازدید کرده ثابت بود ولی وقتی ping میگیرم ازش timeout میده!
از ساعت 3 شب تا 10 صبح کل سایت و صفحات و یکبار ویزیت کرده
لطفا اگر کسی در موردش اطلاعاتی داره توضیح بده برای منم
مرسی

[MMSHFE]

Range IP که با 5 شروع میشه مال ایرانه:
http://www.netip.de/search?query=5.144.134.18

[numberone1]

Range IP که با 5 شروع میشه مال ایرانه:
http://www.netip.de/search?query=5.144.134.18

خوب این ربات دیشب کل صفحات سایت و تو یه بازه زمانی زیاد ویزیت کرده (تقریبا 7 ساعت طول کشیده)
میخوام بدونم برای چی این کار و کرده؟
از کجا اومده به سایت ؟
ربات مال کجا هست؟
کسی اطلاعاتی راجبش داره بگه

[MMSHFE]

آقا مگه نمیبینی مکانش رو زده وسط دریا؟! چیکارش داری لابد برادران/خواهران گمنام هستن، نمیخوان اسمشون لو بره!

[numberone1]

آقا مگه نمیبینی مکانش رو زده وسط دریا؟! چیکارش داری لابد برادران/خواهران گمنام هستن، نمیخوان اسمشون لو بره!

لینکی که گذاشتی برای من باز نمیشه!
ولی برادر خواهر های گمنام نیستن سایت هم سایتی نیست که برادر و خواهر های گمنام بیان سر بزنن توش سایت شرکته
آخه نوع مرور گرش هم خورده hivaBot
بعدش هم کدوم آدم خلی از ساعت 3 شب تا 10 صبح میاد تک تک صفحات سایت و بازدید کنه اونم سایت شرکتی؟!!
حتما روبات بوده
شما تو گوگل سرچ کن hivaBot/hivaBot-0.2 یه سری سایت های فارسی زبان دیگه هم هستن که تو مشخصات ویزیتور هاشون این اسم خورده

[MMSHFE]

با P-r-o-x-y بازش کنید. ببینید، روبات که کاری به این چیزا نداره. نوبتی شروع میکنه گشتن. حالا دیشب نوبت به شما رسیده. سایت من رو هم چند وقتیه دارن توش میگردن، من هم اکثراً میفرستمشون به 404 :دی
چون واقعاً ترافیک رو میخورن!

[mohsen_31369]

با P-r-o-x-y بازش کنید. ببینید، روبات که کاری به این چیزا نداره. نوبتی شروع میکنه گشتن. حالا دیشب نوبت به شما رسیده. سایت من رو هم چند وقتیه دارن توش میگردن، من هم اکثراً میفرستمشون به 404 :دی
چون واقعاً ترافیک رو میخورن!

با استفاده از IP روباتها رو شناسایی می کنید یا روش دیگری دارین ؟

[SlowCode]

با استفاده از IP روباتها رو شناسایی می کنید یا روش دیگری دارین ؟

فکر نکنم شناسایی با آی پی روش درستی باشه!
از user-agent میشه تشخیص داد البته به شرطی که تغیرش ندن، تو این لینک لیست یوزر ایجنت های مشهور هست:
http://www.user-agents.org/

[masterking32]

از سایت من بازدید میکنه http://propc.ir من هم بررسی کردم UserAgent ش این هست
hivabot(http://gorgor.ir and info@gorgor.ir)/hivabot-0.2
و سایت gorgor.ir هم یک موتور جستجوی ایرانی هست !

[meysam1366]

Range IP که با 5 شروع میشه مال ایرانه:
http://www.netip.de/search?query=5.144.134.18

کی میگه برای ایرانه؟

حداقل 7 8 تا کشور فاصله داره

[MMSHFE]

IP داخلیه. شما IP هاستهای داخلی رو چک کنید، متوجه منظورم میشین.

[habibb]

آقا مگه نمیبینی مکانش رو زده وسط دریا؟! چیکارش داری لابد برادران/خواهران گمنام هستن، نمیخوان اسمشون لو بره!

چرا میگه مکانش رو زده وسط دریا! اینو چه جوری بفهمم!

[moradizx]

سیّد جان،
تقریبا برای تمام سایتهایی که در هاست گیتور دارم، بر اساس لاگ سرور، hivaBot به عنوان هدر دهنده CPU شناخته میشه و ساپورت هاست گیتور پیشنهاد میده که در .httaccess بن کنیم. اونا معتقدن مدت زمانی که کراول میکنید خیلی طولانیه و ریسورس زیادی از سرور هدر میده. مثلا دستور بن کردن برای hivaBot و bingbot در .httaccess این هست:

RewriteCond %{HTTP_USER_AGENT} bingbot/|hivaBot/
RewriteRule .* - [R=503]

[numberone1]

این ربات شما در سایت من حدود 12 ساعت میچرخید!!! کل صفحات حدود 15 تا 20 صفحه بوده
12 ساعت چیو داشته بررسی میکرده!!
برای هر صفحه حدود 40 دقیقه وقت میزاشته

[-سیّد-]

سیّد جان،
تقریبا برای تمام سایتهایی که در هاست گیتور دارم، بر اساس لاگ سرور، hivaBot به عنوان هدر دهنده CPU شناخته میشه و ساپورت هاست گیتور پیشنهاد میده که در .httaccess بن کنیم. اونا معتقدن مدت زمانی که کراول میکنید خیلی طولانیه و ریسورس زیادی از سرور هدر میده. مثلا دستور بن کردن برای hivaBot و bingbot در .httaccess این هست:

RewriteCond %{HTTP_USER_AGENT} bingbot/|hivaBot/
RewriteRule .* - [R=503]

@moradizx
من اول از شما به خاطر این که این موضوع رو خبر دادید شدیداً تشکر می‌کنم، من و تیم موتور واقعاً خوشحال می‌شیم که از هر مشکلی که هست خبردار بشیم که تلاشمون رو برای رفعش بکنیم (البته طبیعیه که با حجم زیاد کاری که داریم، ممکنه رفعش مدتی طول بکشه).
اما بعد:
من درست متوجه موضوع نشدم. مگه خزشگر ما به جز ارسال درخواست برای سایت شما، کار دیگه‌ای هم می‌کنه که منابع سرور رو هدر بده؟ منظورتون رو از «مدت زمانی که کراول میکنید خیلی طولانیه» هم درست نفهمیدم. آیا منظور اینه که rate سر زدن خزشگر ما به سایت(های) شما بیش از حد زیاده؟ یعنی politeness رو رعایت نکرده؟
می‌تونید یه مقدار بیشتر توضیح بدید که متوجه منبع مشکل بشیم؟
در ضمن ممنون می‌شم آدرس یکی از سایت‌ها رو به عنوان نمونه به من بدید که لاگش رو بررسی کنیم.
اگر هم نمی‌خواین اینجا آدرس بدین، می‌تونین پیغام خصوصی برام بفرستین.

این ربات شما در سایت من حدود 12 ساعت میچرخید!!! کل صفحات حدود 15 تا 20 صفحه بوده
12 ساعت چیو داشته بررسی میکرده!!
برای هر صفحه حدود 40 دقیقه وقت میزاشته

دوست من خرشگر با توجه به یه سری پارامتر (مثل رتبه‌ی سایت (که از روی گراف وب استخراج می‌شه)، سرعت پاسخگویی سرور، زمان به‌روزرسانی شدن صفحات سایت، برخی از پارامترهایی که خود سرور توی HTTP header ها به خزشگر اعلام می‌کنه، robots.txt، رعایت politeness، و ...) تشخیص می‌ده که با چه سرعت و فاصله‌ای به صفحات یه سایت سر بزنه. بنابراین خیلی عجیب نیست که فاصله‌ی سر زدن خزشگر به صفحات یه سایت زیاد باشه.
در هر صورت اگر احساس می‌کنید اشکالی توی خزش سایتتون هست ممنون می‌شم اطلاعات بیشتری به من بدین. مثل آدرس سایتتون (که بتونیم لاگش رو اینجا بررسی کنیم)، و یا مثلاً فاصله‌ی سر زدن‌های خزشگر به صفحات سایتتون (این که همه با فاصله‌ی ۴۰ دقیقه بوده یا نه چند تا پشت سر هم بوده بعد فاصله افتاده) یا تعداد کل درخواست‌هایی که خزشگر ما برای سایتتون فرستاده (در مقایسه با ۱۵-۲۰ صفحه‌ای که کلاً سایتتون داره) و ...