نمایش نتایج 1 تا 3 از 3

نام تاپیک: دریافت داده از 15 سایت مختلف

  1. #1

    دریافت داده از 15 سایت مختلف

    سلام وقت بخیر
    من یه پروژه دارم که میخوام داده هایی رو از ۱۵ سایت متفاوت بگیرم
    این داده ها اطلاعات مربوط به پرواز هست
    حالا باید با crul زدن ورود انجام بشه بعد فرم ارسال ، نتیجه نمایش و صفحه بندی هم بررسی و داده ها ذخیره بشن
    حالا مشکل اصلی من این که تو php اگه هر سایت رو بزاریم پشت سر هم کرل بخوره اول اینکه خیلی زمان میبره و دوم اینکه ممکنه سرور رو ببندن یا ای پی سرور رو سایت مقصد فیلتر کنهممنون میشم اگر کسی از دوستان همچین پروژه ای داشته منو راهنمایی کنهپروژه تو لاراول در حال انجام هست

  2. #2

    نقل قول: دریافت داده از 15 سایت مختلف

    از thread استفاده کن


    و اگه درخواست پشت سر هم درخواست بفرستی ممکنه از سمت سرور بلاک بشی ولی مثلا اگه بین هر درخواست 10 دقیقه فاصله بیوفته فکر نکنم بلاک بشی اگه باز هم بلاک شدی
    باید با چند تا پروکسی (ip مختلف) درخواست بدی

    مثلا(درخواست ها هر یک دقیقه باشه)

    درخواست اول به 10 سایت با پروکسی شماره 1

    بعد از یک دقیقه

    درخواست دوم به 10 سایت با پروکسی شماره 2

    بعد از یک دقیقه

    درخواست دوم به 10 سایت با پروکسی شماره 3

    بعد از یک دقیقه

    درخواست دوم به 10 سایت با پروکسی شماره n

    بعد از یک دقیقه

    و دوباره از پروکسی شماره یک استفاده کنی


    به احتمال خیلی زیاد که هر ده دقیقه یه درخواست بفرستی اونم با یه ip مشکلی به وجود نمیاد ولی اگه نیاز هست که درخواست هات با فاصله کمتر باشه فکر کنم باید از روش بالا استفاده کنی

  3. #3
    کاربر دائمی آواتار plague
    تاریخ عضویت
    آبان 1388
    محل زندگی
    اهواز
    پست
    1,697

    نقل قول: دریافت داده از 15 سایت مختلف

    همه سایت ها رو بریز تو دیتابیس بعد کرون جاب بزار که هر 1 دقیقه فقط یک سایت رو بخونه و کراول کنه
    از انجایی که 15 تا سایت هستن 15 دقیقه زمان میخوره هر سایت
    حالا تعداد هر بار رو میتونی کم و زیاد کنی بسته به نیازت

    اگرم میخای همه رو یکجا بگیری و نگران بلاک شدن هستی باید از پروکسی استفاده کنی
    چند تا پروکسی بگیر هر بار از یکیشون وصل بشو

تاپیک های مشابه

  1. پاسخ: 3
    آخرین پست: چهارشنبه 02 اردیبهشت 1394, 13:02 عصر
  2. پاسخ: 2
    آخرین پست: جمعه 03 مرداد 1393, 00:46 صبح
  3. سوال: تشخیص سیستم مدیریت سایت ها و تغییر آدرس ورود به مدیریت CMS ها
    نوشته شده توسط iconsco در بخش توسعه وب (Web Development)
    پاسخ: 5
    آخرین پست: شنبه 20 خرداد 1391, 20:12 عصر
  4. سوال: مگر 8 بیت یک بایت نمی شود پس چگونه در این الگوریتم تعداد بیت ها یک بایت میشوند؟
    نوشته شده توسط complexcoding در بخش برنامه نویسی با زبان C و ++C
    پاسخ: 2
    آخرین پست: دوشنبه 14 فروردین 1391, 16:21 عصر

قوانین ایجاد تاپیک در تالار

  • شما نمی توانید تاپیک جدید ایجاد کنید
  • شما نمی توانید به تاپیک ها پاسخ دهید
  • شما نمی توانید ضمیمه ارسال کنید
  • شما نمی توانید پاسخ هایتان را ویرایش کنید
  •