روبات نویسی PHP

[farazsahebdel]

سلام

من می خوام یک روبات که بره اطلاعات رو از سایت های مختلف جمع آوری کنه.

مثلا : وضعیت آب و هوا ، قیمت ارز و سکه و …

کسی آشنایی داره در این مورد ؟

یا تاپیک ؟

یا مقاله ؟

[iradata]

سلام

من می خوام یک روبات که بره اطلاعات رو از سایت های مختلف جمع آوری کنه.

مثلا : وضعیت آب و هوا ، قیمت ارز و سکه و …

کسی آشنایی داره در این مورد ؟

یا تاپیک ؟

یا مقاله ؟

به نظرم با curl خیلی راحت می تونی این کار رو انجام بدی

[farazsahebdel]

curl می شه یکم بیشتر توضیح بدین.

[masiha68]

دقیقا منم به همیچن چیزی نیاز دارم . یه ربات که توی وبسایت ها بگرده و یه سری اطلاعات رو جم کنه
من واسه یه سری تحقیق اینو می خوام

[farazsahebdel]

کسی دیگه اطلاعات تو این زمینه نداره ؟

[MMSHFE]

نوشتن یک روبات اصلاً کار سختی نیست. مهم اینه که الگوریتمی تولید کنید که روباتتون Block نشه. مثلاً Agent موتورهای جستجو و... رو تقلید کنید. در فواصل زمانی مشخص به سایتشون سر بزنید. Proxy تنظیم کنید و IP رو مرتب تغییر بدین. همه این کارها هم با cURL به راحتی قابل انجامه.

[nsco_nsco]

سلام یک سوال cURL چطور می تونه متن درست و اصلی یک صفحه را پیدا کنه اصلا از کجا میشه بفهمه که این مطلب اصلیش کجاست ؟ به نظر من حتی موتورها هم نمی تونن به صورت صد در صد تشخیص بدن هرگونه الگوریتم نویسی هم براشون فرق می کنه یعنی هر سایت جدا می خواد نمیشه به راحتی فهمید غیر اینکه بخواید یک روبات درست کنید که متن صفحات رو بگیره به صورت کامل و نمایش بده تنها برای بالا بردن امار اگر هدف مند می خواید فکر نمی کنم این گونه جواب بگیرد البته به نظر من اگر دوستان اطلاعات دیگری دارند همین جا بگن ممنونم از همه شما دوستان با تشکر .

[masiha68]

یه سری سرچ بزن (که من زدم و دیشب تا یه جاهایی رفتم که بعد هم هاردم پرید و 500 گیگ اطلاعاتم رفت و الانم توی سوگ اون کد ها هستم)
سرچ رو انگلیسی بزن که مطالب بیشتره مثلا من این تابع رو پیدا کردم

$url = 'http://domain.com/get-post.php';
$fields = array(
'lname' => urlencode($last_name),
'fname' => urlencode($first_name),
'title' => urlencode($title),
'company' => urlencode($institution),
'age' => urlencode($age),
'email' => urlencode($email),
'phone' => urlencode($phone)
);

//url-ify the data for the POST
foreach($fields as $key=>$value) { $fields_string .= $key.'='.$value.'&'; }
rtrim($fields_string, '&');

//open connection
$ch = curl_init();

//set the url, number of POST vars, POST data
curl_setopt($ch,CURLOPT_URL, $url);
curl_setopt($ch,CURLOPT_POST, count($fields));
curl_setopt($ch,CURLOPT_POSTFIELDS, $fields_string);

//execute post
$result = curl_exec($ch);

//close connection
curl_close($ch);

البته یکی از بچه های همین انجمن هم دو روز پیش همچین سوالی پرسیدن و واسشون پ خ دادم که اگه میشه کدهات رو بذار ما هم استفاده کنیم که ... نداد

[farazsahebdel]

یه سری سرچ بزن (که من زدم و دیشب تا یه جاهایی رفتم که بعد هم هاردم پرید و 500 گیگ اطلاعاتم رفت و الانم توی سوگ اون کد ها هستم)
سرچ رو انگلیسی بزن که مطالب بیشتره مثلا من این تابع رو پیدا کردم

$url = 'http://domain.com/get-post.php';
$fields = array(
'lname' => urlencode($last_name),
'fname' => urlencode($first_name),
'title' => urlencode($title),
'company' => urlencode($institution),
'age' => urlencode($age),
'email' => urlencode($email),
'phone' => urlencode($phone)
);

//url-ify the data for the POST
foreach($fields as $key=>$value) { $fields_string .= $key.'='.$value.'&'; }
rtrim($fields_string, '&');

//open connection
$ch = curl_init();

//set the url, number of POST vars, POST data
curl_setopt($ch,CURLOPT_URL, $url);
curl_setopt($ch,CURLOPT_POST, count($fields));
curl_setopt($ch,CURLOPT_POSTFIELDS, $fields_string);

//execute post
$result = curl_exec($ch);

//close connection
curl_close($ch);

البته یکی از بچه های همین انجمن هم دو روز پیش همچین سوالی پرسیدن و واسشون پ خ دادم که اگه میشه کدهات رو بذار ما هم استفاده کنیم که ... نداد

ببخشید می تونم بپرسم چطوری شد 500G پرید! :لبخند:

[masiha68]

درایو فایل های php پر شده بود و خواستم یه کمی افزایشش بدم منتها نمی دونم چی شده که اون درایو و دوتا دیگه از درایو هام پریدن ... هادرم یک ترابایته ... یه کمی دست کاریش کردم فایل بوت سیستم رو هم حذف کردم و پریمری سیستم عامل رو گذاشتم یه یه درایوی غیر از درایو ویندوز و دیگه ویندوز هم پرید ... با هزار بدبختی و ... ویندوز رو درست کردم و الان اومده بالا ولی هر کاری می کنم اون اطلاعات رو نمی تونم برگردونم ... یعنی تقریبا مثل اینه یه سال کد php بزنی و اخرش همه رو دلت کنی ... الان دقیقا مثل کسی هستم که می خاد از صفر شروع کنه . بک اپ هم نداشتم ولی خب خدا بزرگه و دارم با چندتا نرم افزار ریکاوری رو سیستم کار می کنم
البته این پریدن اطلاعات ربطی به تابع curl نداره :))