PDA

View Full Version : دریافت داده از 15 سایت مختلف



boysky68
سه شنبه 16 بهمن 1397, 19:43 عصر
سلام وقت بخیر
من یه پروژه دارم که میخوام داده هایی رو از ۱۵ سایت متفاوت بگیرماین داده ها اطلاعات مربوط به پرواز هست
حالا باید با crul زدن ورود انجام بشه بعد فرم ارسال ، نتیجه نمایش و صفحه بندی هم بررسی و داده ها ذخیره بشنحالا مشکل اصلی من این که تو php اگه هر سایت رو بزاریم پشت سر هم کرل بخوره اول اینکه خیلی زمان میبره و دوم اینکه ممکنه سرور رو ببندن یا ای پی سرور رو سایت مقصد فیلتر کنهممنون میشم اگر کسی از دوستان همچین پروژه ای داشته منو راهنمایی کنهپروژه تو لاراول در حال انجام هست

peymang
چهارشنبه 17 بهمن 1397, 00:54 صبح
از thread استفاده کن


و اگه درخواست پشت سر هم درخواست بفرستی ممکنه از سمت سرور بلاک بشی ولی مثلا اگه بین هر درخواست 10 دقیقه فاصله بیوفته فکر نکنم بلاک بشی اگه باز هم بلاک شدی
باید با چند تا پروکسی (ip مختلف) درخواست بدی

مثلا(درخواست ها هر یک دقیقه باشه)

درخواست اول به 10 سایت با پروکسی شماره 1

بعد از یک دقیقه

درخواست دوم به 10 سایت با پروکسی شماره 2

بعد از یک دقیقه

درخواست دوم به 10 سایت با پروکسی شماره 3

بعد از یک دقیقه

درخواست دوم به 10 سایت با پروکسی شماره n

بعد از یک دقیقه

و دوباره از پروکسی شماره یک استفاده کنی


به احتمال خیلی زیاد که هر ده دقیقه یه درخواست بفرستی اونم با یه ip مشکلی به وجود نمیاد ولی اگه نیاز هست که درخواست هات با فاصله کمتر باشه فکر کنم باید از روش بالا استفاده کنی

plague
چهارشنبه 17 بهمن 1397, 15:48 عصر
همه سایت ها رو بریز تو دیتابیس بعد کرون جاب بزار که هر 1 دقیقه فقط یک سایت رو بخونه و کراول کنه
از انجایی که 15 تا سایت هستن 15 دقیقه زمان میخوره هر سایت
حالا تعداد هر بار رو میتونی کم و زیاد کنی بسته به نیازت

اگرم میخای همه رو یکجا بگیری و نگران بلاک شدن هستی باید از پروکسی استفاده کنی
چند تا پروکسی بگیر هر بار از یکیشون وصل بشو