گرفتن اطلاعات از یک سایت

[bozhmehrani]

سلام دوستان
من به اطلاعات یک سایت خارجی نیاز دارم و برآن شدم که برنامه ای بنویسم که بادادن اسم سایت و آی دی صفحاتش به طور اتوماتیک خودش اطلاعاتشو بگیرم و...
ولی این کار به کندی پیش میره
هر دوثانیه یک رکورد ثبت میشه.در آن واحدم نمیشه چندتا ریکوست به سایت بدی و اطلاعاتشونو همزمان توبانک ذخیره بکنی.واینجوری خیلی طول میکشه.سه هفته وقت میبره
کسی تو این زمینه صاحب نظر هست یا تجربه ای داره که راهنماییم بکنه؟
پیشاپیش ممنون.

[bade saba]

سلام دوستان
در آن واحدم نمیشه چندتا ریکوست به سایت بدی

چرا نمیشه؟؟؟ کافیه شما دو تا thread داشته باشی که هر دوشون درخواست ارسال کنند اونموقع میشه دوتا درخواست و همینجور میشه درخواستها رو اضافه کرد اما نکنه اینجاست که ارسال و دریافت شما رابطه مستقیمی با سرعت connection شما به اینترنت داره و این محدودیت رو کاریش نمیشه کرد یعنی اگه شما 1000 تا درخواست بخای بفرستی connection ات جواب نخواهد داد.
سرعت ذخیره سازی شما در DB هم در اینجا مشکلی نیست چون قابل مقایسه با سرعت و محدودیت شما در دریافت اطلاعات نیست.

موفق باشید

[bozhmehrani]

ممنون ،آقا من الان از threadاستفاده کردم 10تایی ، 50 تایی
یذره رو سرعت تاثیر گذاشته ولی کافی نیست بازم پایینه .در هر دقیقه 40تارکورد
بدجوری داره رو مخم راه میره باورم نمیشه که باید تا 50 روز دیگه باید منتظرم بشینم تا تموم شه.
دوستان حرفه ای منتظر تجربیات و نظراتتون هستم