PDA

View Full Version : سوال: hivabot چیه؟



numberone1
شنبه 27 مهر 1392, 11:50 صبح
سلام
یک ویزیتور ثبت شده برای من نوع مرورگرش خورده
hivaBot/hivaBot-0.2
و آی پی هم خورده
5.144.134.18
من همین و توی گوگل سرچ کردم انگار بعضی دیگه از سایت ها رو هم بازدید کرده ولی هیچ اطلاعاتی ازش نبود که چی هست چجوری کار میکنه و ...؟!
آی پی هم برای همه سایت هائی که بازدید کرده ثابت بود ولی وقتی ping میگیرم ازش timeout میده!
از ساعت 3 شب تا 10 صبح کل سایت و صفحات و یکبار ویزیت کرده
لطفا اگر کسی در موردش اطلاعاتی داره توضیح بده برای منم
مرسی

MMSHFE
شنبه 27 مهر 1392, 12:04 عصر
Range IP که با 5 شروع میشه مال ایرانه:
http://www.netip.de/search?query=5.144.134.18

numberone1
شنبه 27 مهر 1392, 12:31 عصر
Range IP که با 5 شروع میشه مال ایرانه:
http://www.netip.de/search?query=5.144.134.18
خوب این ربات دیشب کل صفحات سایت و تو یه بازه زمانی زیاد ویزیت کرده (تقریبا 7 ساعت طول کشیده)
میخوام بدونم برای چی این کار و کرده؟
از کجا اومده به سایت ؟
ربات مال کجا هست؟
کسی اطلاعاتی راجبش داره بگه

MMSHFE
شنبه 27 مهر 1392, 12:34 عصر
آقا مگه نمیبینی مکانش رو زده وسط دریا؟! چیکارش داری لابد برادران/خواهران گمنام هستن، نمیخوان اسمشون لو بره!

numberone1
شنبه 27 مهر 1392, 13:08 عصر
آقا مگه نمیبینی مکانش رو زده وسط دریا؟! چیکارش داری لابد برادران/خواهران گمنام هستن، نمیخوان اسمشون لو بره!
لینکی که گذاشتی برای من باز نمیشه!
ولی برادر خواهر های گمنام نیستن سایت هم سایتی نیست که برادر و خواهر های گمنام بیان سر بزنن توش سایت شرکته
آخه نوع مرور گرش هم خورده hivaBot
بعدش هم کدوم آدم خلی از ساعت 3 شب تا 10 صبح میاد تک تک صفحات سایت و بازدید کنه اونم سایت شرکتی؟!!
حتما روبات بوده
شما تو گوگل سرچ کن hivaBot/hivaBot-0.2 یه سری سایت های فارسی زبان دیگه هم هستن که تو مشخصات ویزیتور هاشون این اسم خورده

MMSHFE
شنبه 27 مهر 1392, 13:53 عصر
با P-r-o-x-y بازش کنید. ببینید، روبات که کاری به این چیزا نداره. نوبتی شروع میکنه گشتن. حالا دیشب نوبت به شما رسیده. سایت من رو هم چند وقتیه دارن توش میگردن، من هم اکثراً میفرستمشون به 404 :دی
چون واقعاً ترافیک رو میخورن!

mohsen_31369
یک شنبه 28 مهر 1392, 14:27 عصر
با P-r-o-x-y بازش کنید. ببینید، روبات که کاری به این چیزا نداره. نوبتی شروع میکنه گشتن. حالا دیشب نوبت به شما رسیده. سایت من رو هم چند وقتیه دارن توش میگردن، من هم اکثراً میفرستمشون به 404 :دی
چون واقعاً ترافیک رو میخورن!
با استفاده از IP روباتها رو شناسایی می کنید یا روش دیگری دارین ؟

SlowCode
یک شنبه 28 مهر 1392, 14:57 عصر
با استفاده از IP روباتها رو شناسایی می کنید یا روش دیگری دارین ؟ فکر نکنم شناسایی با آی پی روش درستی باشه!:متفکر:
از user-agent میشه تشخیص داد البته به شرطی که تغیرش ندن، تو این لینک لیست یوزر ایجنت های مشهور هست:
http://www.user-agents.org/

masterking32
دوشنبه 16 دی 1392, 18:06 عصر
از سایت من بازدید میکنه http://propc.ir من هم بررسی کردم UserAgent ش این هست
hivabot(http://gorgor.ir and info@gorgor.ir)/hivabot-0.2
و سایت gorgor.ir هم یک موتور جستجوی ایرانی هست !

meysam1366
دوشنبه 16 دی 1392, 18:25 عصر
Range IP که با 5 شروع میشه مال ایرانه:
http://www.netip.de/search?query=5.144.134.18

کی میگه برای ایرانه؟

حداقل 7 8 تا کشور فاصله داره

MMSHFE
دوشنبه 16 دی 1392, 18:51 عصر
IP داخلیه. شما IP هاستهای داخلی رو چک کنید، متوجه منظورم میشین.

habibb
سه شنبه 17 دی 1392, 23:22 عصر
آقا مگه نمیبینی مکانش رو زده وسط دریا؟! چیکارش داری لابد برادران/خواهران گمنام هستن، نمیخوان اسمشون لو بره!

چرا میگه مکانش رو زده وسط دریا! اینو چه جوری بفهمم!

moradizx
یک شنبه 08 تیر 1393, 12:04 عصر
سیّد جان،
تقریبا برای تمام سایتهایی که در هاست گیتور دارم، بر اساس لاگ سرور، hivaBot به عنوان هدر دهنده CPU شناخته میشه و ساپورت هاست گیتور پیشنهاد میده که در .httaccess بن کنیم. اونا معتقدن مدت زمانی که کراول میکنید خیلی طولانیه و ریسورس زیادی از سرور هدر میده. مثلا دستور بن کردن برای hivaBot و bingbot در .httaccess این هست:



RewriteCond %{HTTP_USER_AGENT} bingbot/|hivaBot/
RewriteRule .* - [R=503]

numberone1
یک شنبه 08 تیر 1393, 12:43 عصر
این ربات شما در سایت من حدود 12 ساعت میچرخید!!! کل صفحات حدود 15 تا 20 صفحه بوده
12 ساعت چیو داشته بررسی میکرده!!
برای هر صفحه حدود 40 دقیقه وقت میزاشته :قهقهه:

-سیّد-
سه شنبه 10 تیر 1393, 07:59 صبح
سیّد جان،
تقریبا برای تمام سایتهایی که در هاست گیتور دارم، بر اساس لاگ سرور، hivaBot به عنوان هدر دهنده CPU شناخته میشه و ساپورت هاست گیتور پیشنهاد میده که در .httaccess بن کنیم. اونا معتقدن مدت زمانی که کراول میکنید خیلی طولانیه و ریسورس زیادی از سرور هدر میده. مثلا دستور بن کردن برای hivaBot و bingbot در .httaccess این هست:



RewriteCond %{HTTP_USER_AGENT} bingbot/|hivaBot/
RewriteRule .* - [R=503]





@moradizx
من اول از شما به خاطر این که این موضوع رو خبر دادید شدیداً تشکر می‌کنم، من و تیم موتور واقعاً خوشحال می‌شیم که از هر مشکلی که هست خبردار بشیم که تلاشمون رو برای رفعش بکنیم (البته طبیعیه که با حجم زیاد کاری که داریم، ممکنه رفعش مدتی طول بکشه).
اما بعد:
من درست متوجه موضوع نشدم. مگه خزشگر ما به جز ارسال درخواست برای سایت شما، کار دیگه‌ای هم می‌کنه که منابع سرور رو هدر بده؟ منظورتون رو از «مدت زمانی که کراول میکنید خیلی طولانیه» هم درست نفهمیدم. آیا منظور اینه که rate سر زدن خزشگر ما به سایت(های) شما بیش از حد زیاده؟ یعنی politeness رو رعایت نکرده؟
می‌تونید یه مقدار بیشتر توضیح بدید که متوجه منبع مشکل بشیم؟
در ضمن ممنون می‌شم آدرس یکی از سایت‌ها رو به عنوان نمونه به من بدید که لاگش رو بررسی کنیم.
اگر هم نمی‌خواین اینجا آدرس بدین، می‌تونین پیغام خصوصی برام بفرستین.



این ربات شما در سایت من حدود 12 ساعت میچرخید!!! کل صفحات حدود 15 تا 20 صفحه بوده
12 ساعت چیو داشته بررسی میکرده!!
برای هر صفحه حدود 40 دقیقه وقت میزاشته :قهقهه:

دوست من خرشگر با توجه به یه سری پارامتر (مثل رتبه‌ی سایت (که از روی گراف وب استخراج می‌شه)، سرعت پاسخگویی سرور، زمان به‌روزرسانی شدن صفحات سایت، برخی از پارامترهایی که خود سرور توی HTTP header ها به خزشگر اعلام می‌کنه، robots.txt، رعایت politeness، و ...) تشخیص می‌ده که با چه سرعت و فاصله‌ای به صفحات یه سایت سر بزنه. بنابراین خیلی عجیب نیست که فاصله‌ی سر زدن خزشگر به صفحات یه سایت زیاد باشه.
در هر صورت اگر احساس می‌کنید اشکالی توی خزش سایتتون هست ممنون می‌شم اطلاعات بیشتری به من بدین. مثل آدرس سایتتون (که بتونیم لاگش رو اینجا بررسی کنیم)، و یا مثلاً فاصله‌ی سر زدن‌های خزشگر به صفحات سایتتون (این که همه با فاصله‌ی ۴۰ دقیقه بوده یا نه چند تا پشت سر هم بوده بعد فاصله افتاده) یا تعداد کل درخواست‌هایی که خزشگر ما برای سایتتون فرستاده (در مقایسه با ۱۵-۲۰ صفحه‌ای که کلاً سایتتون داره) و ...