دریافت داده از 15 سایت مختلف

[boysky68]

سلام وقت بخیر
من یه پروژه دارم که میخوام داده هایی رو از ۱۵ سایت متفاوت بگیرماین داده ها اطلاعات مربوط به پرواز هست
حالا باید با crul زدن ورود انجام بشه بعد فرم ارسال ، نتیجه نمایش و صفحه بندی هم بررسی و داده ها ذخیره بشنحالا مشکل اصلی من این که تو php اگه هر سایت رو بزاریم پشت سر هم کرل بخوره اول اینکه خیلی زمان میبره و دوم اینکه ممکنه سرور رو ببندن یا ای پی سرور رو سایت مقصد فیلتر کنهممنون میشم اگر کسی از دوستان همچین پروژه ای داشته منو راهنمایی کنهپروژه تو لاراول در حال انجام هست

[peymang]

از thread استفاده کن


و اگه درخواست پشت سر هم درخواست بفرستی ممکنه از سمت سرور بلاک بشی ولی مثلا اگه بین هر درخواست 10 دقیقه فاصله بیوفته فکر نکنم بلاک بشی اگه باز هم بلاک شدی
باید با چند تا پروکسی (ip مختلف) درخواست بدی

مثلا(درخواست ها هر یک دقیقه باشه)

درخواست اول به 10 سایت با پروکسی شماره 1

بعد از یک دقیقه

درخواست دوم به 10 سایت با پروکسی شماره 2

بعد از یک دقیقه

درخواست دوم به 10 سایت با پروکسی شماره 3

بعد از یک دقیقه

درخواست دوم به 10 سایت با پروکسی شماره n

بعد از یک دقیقه

و دوباره از پروکسی شماره یک استفاده کنی


به احتمال خیلی زیاد که هر ده دقیقه یه درخواست بفرستی اونم با یه ip مشکلی به وجود نمیاد ولی اگه نیاز هست که درخواست هات با فاصله کمتر باشه فکر کنم باید از روش بالا استفاده کنی

[plague]

همه سایت ها رو بریز تو دیتابیس بعد کرون جاب بزار که هر 1 دقیقه فقط یک سایت رو بخونه و کراول کنه
از انجایی که 15 تا سایت هستن 15 دقیقه زمان میخوره هر سایت
حالا تعداد هر بار رو میتونی کم و زیاد کنی بسته به نیازت

اگرم میخای همه رو یکجا بگیری و نگران بلاک شدن هستی باید از پروکسی استفاده کنی
چند تا پروکسی بگیر هر بار از یکیشون وصل بشو