crawl و queue

[mohsenshahab]

سلام دوستان
من در حال نوشتن برنامه ای هستم که یک سری اطلاعات رو از سایت دیوار با روش (crawl) میگیره و توی دیتابیس ذخیره میکنه .
درخواست ها به ۹۰۰ url فرستاده میشه و اطلاعات رو برمیگردونه .
حالا سوال من اینه که چه جوری باید درخواست ها رو ارسال کنم ؟
قاعدتا نمیشه یهو ۹۰۰ تا request فرستاد. من میخواستم از queue استفاده کنم ولی ایده خاصی ندارم ؟

[plague]

یه خزنده بنویس که لینک ها رو جمع کنه بریزه تو دیتبایس
یه ربات دوم بساز که لینک ها رو از دیتبایس بگیره یکی یکی و بره محتواشون رو بگیره