PDA

View Full Version : بیرون کشیدن اطلاعات از وبسایت های دیگه



olampiad
سه شنبه 31 فروردین 1395, 05:00 صبح
سلام و خسته نباشید به دوستان عزیز
من میخوام اطلاعات سایت های دیگه رو بخونم .
الآن مد شده که اکثرا این کار رو میکنن و اکثر سایت های خبری اطلاعاتشون رو از سایت های دیگه میخونن.
حالا من میخوام از دو تا سایت این کار رو انجام بدم .

سایت اول :
بیاد به این آدرس ها
http://stony.ir/fa/adv/group/3/%D8%A7%D9%86%D8%A8%D8%A7%D8%B1-%D9%88-%D9%81%D8%B1%D9%88%D8%B4%DA%AF%D8%A7%D9%87-%D9%87%D8%A7%DB%8C-%D8%B3%D9%86%DA%AF/
بعدش دونه دونه بره روی محصولات
http://stony.ir/fa/adv/detail/160/%D8%B5%D9%86%D8%A7%DB%8C%D8%B9-%D8%B3%D9%86%DA%AF-%D8%AA%D9%85%D8%AF%D9%86/
بعد از رفتن روی محصول ، در صفحه درباره محصول : شماره تماس و ایمیل آگهی دهنده رو بردارم .

حالا
دقیقا به این کار چی میگن. اسم این کار رو نمیدونستم تا دو نت سرچ کنم.
با چ توابعی این کار رو انجام میدن؟
آیا آوزشی برای این کار دارید.



سایت دوم :
به این آدرس برید.
http://youstone.org/
این سایت کلا با ajax نوشته شده و بیرون کشیدن اطلاعات فکنم خیلی سخت تر باشه .
من تو این سایت میخوام شماره تماس شرکت هایی که ماشین آلات معدنی هستن رو دربیارم.
برای بیرون کشیدن اطلاعات از این سایت چ پیشنهادی دارین ؟
از چ توابعی و روش هایی استفاده کنم.
ممنون

leaping
سه شنبه 31 فروردین 1395, 05:08 صبح
از CURL و یا get_content میتونید استفاده کنید.
برای آژاکس ها هم میتونید با استفاده از هدر آدرسها و یا پارامترهایی که برای صفحات مختلف ارسال شده برای دریافت پاسخ استفاده کنید و این درخواستهارو شبیه سازی کنید.
به اینهاهم Crawler میگن

این فانکشن هم میتونه کمکتون کنه از ورژن DOM



<?php
function crawl_page($url, $depth = 5)
{
static $seen = array();
if (isset($seen[$url]) || $depth === 0) {
return;
}

$seen[$url] = true;

$dom = new DOMDocument('1.0');
@$dom->loadHTMLFile($url);

$anchors = $dom->getElementsByTagName('a');
foreach ($anchors as $element) {
$href = $element->getAttribute('href');
if (0 !== strpos($href, 'http')) {
$path = '/' . ltrim($href, '/');
if (extension_loaded('http')) {
$href = http_build_url($url, array('path' => $path));
} else {
$parts = parse_url($url);
$href = $parts['scheme'] . '://';
if (isset($parts['user']) && isset($parts['pass'])) {
$href .= $parts['user'] . ':' . $parts['pass'] . '@';
}
$href .= $parts['host'];
if (isset($parts['port'])) {
$href .= ':' . $parts['port'];
}
$href .= $path;
}
}
crawl_page($href, $depth - 1);
}
echo "URL:",$url,PHP_EOL,"CONTENT:",PHP_EOL,$dom->saveHTML(),PHP_EOL,PHP_EOL;
}
crawl_page("http://hobodave.com", 2);

aaligoli
چهارشنبه 01 اردیبهشت 1395, 04:26 صبح
نیاز به راهنمایی برای اجراش دارید یا اینکه میخوایی یکی براتون انجام بده ؟