چند سوال درباره ی cURL

[mlf_mlv]

با سلام خدمت همه ی دوستان.
چند سوال در باره ی تابع cURL داشتم.
1- بیشتر سایتها توسط رباتی که با cURL نوشته شده رو بن کرده اند. فکر می کنم از روی IP می فهمن که رباته یا آدم. آیا راهی برای عوض کردن IP وجود دارد؟
2- این ربات برای بعضی از سایتها که ف ی ل ت ر هستند کار می کند ولی cssها و Scriptها لود نمی شودند. جالبه خود سایت رو باز می کنه ولی css ها به دلیل ف ی ل ت ر بودن باز نمی شن!! آیا راهی برای باز کاردن اون cssها یا همین ربات و معرفیش به پیج اصلی وجود داره؟
3- کلا جریان این فیلد مخفی ها چیه و چطوری می شه ازشون عبور کرد؟:لبخند:
لطفا اگر مقاله ی کاملی در باره ی بات نت ها دارید اگر ارائه کنید یه دنیا ممنون می شم

[amir001]

خب برادر وقتی صفحه اصلی یک سایت فیل*تر شده را با cURL باز میکنی، عکس ها و فایل های موجود درون صفحه را هم باید مجدد با cURL باز کنی دیگه.
باید درون صفحه بگردی و تمام آدرس ها را جایگزین یک آدرس جدید کنی.

اگر میخواهی بفهمی دقیقا چه شکلیه میتونی سورس phproxy را مطالعه کنی.

در مورد بن کردن آی پی هم سایت ها کاری ندارند که سایتشون را با cURL باز کردی یا چیزی دیگه. شما سعی کن هدر های ارسالی را کامل کنی و تغییر بدی تا نفهمند. اگر هم میخواهی با cURL کار نکنی من یک کلاس نوشته ام که با fsockopen صفحات را باز میکنه میتونی توی همین تالار پیداش کنی و ازش استفاده کنی.
گاهی بن کردن به دلیل درخواست زیاد هست. مثلا شما چندین درخواست در ثانیه ارسال میکنید که سرور بررسی میکنه و میفهمه یک انسان نمیتونه این تعداد زیاد درخواست داشته باشه و شما را بن میکنه. باید بین درخواستهاتون فاصله زیاد بذارید.

[mlf_mlv]

ممنون از توجهتون. مشکل من همون جایگزین کردنه:ناراحت:
مثلا چه پارامترایی؟ مثلا وقتی گوگل یا یاهو رو باز می کنم objrct moved می گه..
راستی کتابی مقاله ای چیزی دریاره ی Socket programming تو php دارید؟ هرچی گشتم منبع فارسی پیدا نکردم..

[mlf_mlv]

راستی سورس phproxy رو نگاه کردم ولی اولا هم خیلی پیچیده بود هم کند هم درست کار نمی کرد برای بعضی سایتها

[amir001]

چند تا نمونه هدر هایی که فایر فاکس برای باز کردن گوگل میفرسته:



GET http://www.google.com/ HTTP/1.1
Host: www.google.com
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: en-us,en;q=0.5
Accept-Encoding: gzip,deflate
Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7


این خط چیز مهمی میتونه باشه :


User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13

یک توضیح کوچیک هم در مورد phproxy :

کارش این هست که فایل های متنی را باز میکنه و تمای آدرس های موجود داخلش را با یک آدرس دیگه جایگزین میکنه به این شکل که آدرس صفحه اصلی خودش را میده و آدرس اصلی و اولیه را هم به عنوان کوئری Get میذاره.
بنابرین همون صفحه دوباره توسط مرورگر درخواست میشه اما به صفحه phproxy ارسال میشه و همون کارها....
برای کوکی ها هم کار جالبی میکنه.

اگر هدفت ساختن پروکسی هست بهتره از شیوه های جدید تر استفاده کنی. یعنی از لوکال درخواست ها را تجزیه تحلیل کنی و بفرستی به PHP
من خودم این کار را انجام دادم. البته برای پروژه درسی دانشگاه.

[mlf_mlv]

روز اول قصد درست کردن پروکسی نداشتم:لبخند: می خواستم یه ربات اینترنتی بسازم واسه اسپم کردن تو یه سایتی!!:شیطان: ولی یه هو به ذهنم رسید که می شه به عنوان پروکسی هم ازش استفاده کرد!!
ببخشید باز سوال می پرسم.. این هدرها رو چطوری باید بفرستیم؟:خجالت:

[mlf_mlv]

راستی در مورد روشی که گفتید ممنون می شم کمک کنید و بپید دنبال چه مقالاتی باید بگردم..