PDA

View Full Version : سوال: crawl و queue



mohsenshahab
دوشنبه 20 فروردین 1397, 17:27 عصر
سلام دوستان
من در حال نوشتن برنامه ای هستم که یک سری اطلاعات رو از سایت دیوار با روش (crawl) میگیره و توی دیتابیس ذخیره میکنه .
درخواست ها به ۹۰۰ url فرستاده میشه و اطلاعات رو برمیگردونه .
حالا سوال من اینه که چه جوری باید درخواست ها رو ارسال کنم ؟
قاعدتا نمیشه یهو ۹۰۰ تا request فرستاد. من میخواستم از queue استفاده کنم ولی ایده خاصی ندارم ؟

plague
دوشنبه 20 فروردین 1397, 22:54 عصر
یه خزنده بنویس که لینک ها رو جمع کنه بریزه تو دیتبایس
یه ربات دوم بساز که لینک ها رو از دیتبایس بگیره یکی یکی و بره محتواشون رو بگیره