کمک برای ذخیره کردن اطلاعات از سایت های دیگر

[mamali-mohammad]

سلام
مثلا فرض کنید یه سایت خبری داریم
میخوایم هر سایت چک کنیم این سایت خبر جدید داره و اگه داره اطلاعاتشو در سایت خودمون ذخیره کنیم
با RSS نباشه باشه
همه مشخصه های سایت هم داریم مثل کلاس ها و ای دی ها و دایو ها
کل سایت هم از یه روند تکراری استفاده می کنه و اینطور نیست قابل تغییر باشه
ممنون میشم راهنمایی کنید

[dousti_design]

من قبلا یه سایت خبری (http://www.gholbang.ir) دقیقا همینی که شما میگی رو نوشتم.
از کلاس simple html dom استفاده کردم. خیلی کلاس مفیدی هستش میای مثلا میگی که برو به این صفحه و هرچیزی که بین دایوی که آی دیش برابر با اینه رو بردار بیار:لبخندساده: (البته زبون خودمونیش میشه این)
کلاس رو ضمیمه کردم. این یه مثال:


$html = file_get_html($url);
$e = $html->find('div[class=body]');
$body = $e[0]->innertext ;

این کد میره توی صفحه ای که url اش رو میدید دنبال تگ دایوی میگرده که کلاسش برابر با body باشه.

[mamali-mohammad]

ممنون داداش
خیلی خوب هست
میشه توی حلقه هم گذاشت و مقادیر رو دستکاری کرد و بعد در دیتابیس ذخیره کرد ؟

[dousti_design]

بله چرا که نه. متن رو به شما میده هر تغییراتی خواستید میتونید روی متن اعمال کنید.

[mamali-mohammad]

اگه یخوایم کلاس بگیریم چی میشه ؟
مثلا 100 تا کلاس مشابه داشته باشه ؟!

[mamali-mohammad]

ببخشید حرفه ای تر از این وجود نداره ؟

[dousti_design]

یعنی چی کلاس بگیریم؟
حرفه ای تر هم حتما هست اگر جستجو کنید. اینم میشه ادیت کرد کدهاش سادست

[mamali-mohammad]

مثلا اطلاعات این سایت رو نتونست بکشه بیرون : bwin.com

[mahmod2000]

میشه اطلاعات بیشتری واسه این کلاس در اختیار ما بزارید دوست عزیز؟؟

ممنون میشم

[dousti_design]

کلاس simple html dom (http://simplehtmldom.sourceforge.net/) برای پردازش تگ های html نوشته شده. بارزترین کاربردش همینی هست که عرض کردم. محتویات یک element رو واکشی میکنه و در اختیارتون میذاره. و یه سری کارهای جانبی مثل replace کردن و...
اطلاعات بیشتر + مثال و... توی آدرس مربوط به کلاس در سایت SourceForge موجوده.

[mamali-mohammad]

شما الان یه تست بزن ببین میتونی از bwin چیزی بگیری ؟

[mahmod2000]

این سایت که شما میگی فیلتره

بعدم من از 2 تا سایت استفاده کردم خوب کار میکنه.. در کل کلاسه خوبیه

[mamali-mohammad]

من تست کردم متاسفانه مشکل داره

[mahmod2000]

نه دوست عزیز کلاس مشکلی نداره...

من هم خیلی وقته دنبال همچین کلاسی میگشتم که بتونم اخبار رو بگیرم و در دیتابیس بریزم

فقط یه مقدار کد نویسی میخواد

[dousti_design]

شما الان یه تست بزن ببین میتونی از bwin چیزی بگیری ؟

کدی که برای این منظور نوشتید و جواب نداد رو قرار بدید؟

[mamali-mohammad]

این کد :

<?php
include_once 'dom.php';
$url='http://www.bwin.com/';
$html = file_get_html($url);
$e = $html->find('div[id=footer]');
echo $body = $e[0]->innertext ;
?>
اینم خطاش :

Warning: file_get_contents(http://www.bwin.com/) [function.file-get-contents]: failed to open stream: HTTP request failed! in C:\Program Files\---\---\---\dom.php on line 75

[matrixhassan]

خوب عزیز برای اینکه فیلتره

[dousti_design]

این کد :

<?php
include_once 'dom.php';
$url='http://www.bwin.com/';
$html = file_get_html($url);
$e = $html->find('div[id=footer]');
echo $body = $e[0]->innertext ;
?>
اینم خطاش :

Warning: file_get_contents(http://www.bwin.com/) [function.file-get-contents]: failed to open stream: HTTP request failed! in C:\Program Files\---\---\---\dom.php on line 75

خب این ربطی به parse کردن عناصر صفحه ندار و مربوط به اینه که تابع file_get_contents نتونسته به اون صفحه دسترسی پیدا کنه. دلیلشم احتمالا همینیه که دوستمون گفت فیلتره

[mamali-mohammad]

نه با vp*n هم انجام دادم اوکی نشد

[matrixhassan]

انگار اشکال داره من برای یه سایت دیگه انجامش دادم ارور زیرو داد

Notice: Undefined offset: 0 in ...\simple_html_dom\simple_html_dom.php on line 1726

[dousti_design]

بدون اشکال که نیست باید طبق خواسته هامون ویرایشش کنیم.

نه با vp*n هم انجام دادم اوکی نشد

نمیدونم وی پی ان روی آپاچی تاثیر میذاره یا نه ولی میدونم که این اروری که میده مربوط به اشکالات این کلاس نمیشه و کانکشنتون رو باید درست کنید

[mamali-mohammad]

آره درسته
حالا کلاس حرفه ای تری سراغ دارید ؟

[arlvl4n.z3r0]

سلام و درود.
.ولی آیا واسه تالار گفتمان ها هم به این روش که گفتی می شه یک پایگاه خبری درست کرد؟

[arlvl4n.z3r0]

:متفکر::متفکر::متفکر::متفکر::� �تفکر:

[mamali-mohammad]

این کلاس قدیمیه
کلاس جدیدش رو از sourceforge دانلود کنید
اما نمی دونم چرا هرچی میزنم صفحه سفید میاره

[MostafaEs3]

این کلاس قدیمیه
کلاس جدیدش رو از sourceforge دانلود کنید
اما نمی دونم چرا هرچی میزنم صفحه سفید میاره

در نسخه جدید یکی از بزرگترین ایراداتش رفع شده. قبلا تگهای Inline مثل span, b, i, u, font رو به خط جدید منتقل میکرد (در plaintext) ولی در نسخه جدید (مشابه مرورگر ها) فقط یک فاصله قرار میده. برای وبسایت خبری که قبلا درحال کار بر روی اون بودم این مشکل خیلی اذیتم کرد
من نزدیک به 5 ماه تمام وقت داشتم روی این کلاس و کلا (جستجوگر خبری) کار میکردم که البته بعدش بخاطر یک اتفاق ، کل پروژه از دست رفت :افسرده:

[mamali-mohammad]

داداش تجربیاتت رو میگی ؟
من نمیدونم چرا میزنم سایت سفید میاره

[MostafaEs3]

داداش تجربیاتت رو میگی ؟
من نمیدونم چرا میزنم سایت سفید میاره

آقا محمد کدتون رو بزارید تا دلیلش رو بهتون بگم :لبخندساده:

[mamali-mohammad]

خدمت شما :

<?php
include('simple_html_dom.php');
// Create DOM from URL
$html = file_get_html('http://slashdot.org/');

// Find all article blocks
foreach($html->find('div.article') as $article) {
$item['title'] = $article->find('div.title', 0)->plaintext;
$item['intro'] = $article->find('div.intro', 0)->plaintext;
$item['details'] = $article->find('div.details', 0)->plaintext;
$articles[] = $item;
}

print_r($articles);
?>

خطا :

Notice: Undefined variable: articles in C:\---\www\---\index.php on line 14

[MostafaEs3]

خب محمد آقا شما توی حلقه یک ردیف جدید به آرایه articles اضافه کردین درصورتی که این متغیر از قبل وجود نداره. شما نیاز هست قبل از حلقه یک آرایه خالی تعریف کنید.

کد اصلاح شده ::


include('simple_html_dom.php');

// Create DOM from URL
$html = file_get_html('http://slashdot.org/');
$articles = array();

// Find all article blocks
foreach($html->find('div.article') as $article) {
$item['title'] = $article->find('div.title', 0)->plaintext;
$item['intro'] = $article->find('div.intro', 0)->plaintext;
$item['details'] = $article->find('div.details', 0)->plaintext;
$articles[] = $item;
}

print_r($articles);

کلا توی هر اروری Undefined variable دیدین یعنی متغیری تعریف نشده (و نیاز هست قبلش متغیر رو تعریف کنید)

[mamali-mohammad]

سلام
گذاشتم اما خروجی این شد :

Array ( )

[MostafaEs3]

//////////

[mamali-mohammad]

اینم جواب نداد
من برای سایت اندرویدها تست زدم نشد
کد :

<?php
include('simple_html_dom.php');

function scraping_slashdot() {
// create HTML DOM
$html = file_get_html('http://www.androidha.com/');

// get article block
foreach($html->find('div[class^=post-]') as $article) {
// get title
$item['title'] = trim($article->find('h3', 0)->plaintext);
// get body
$item['body'] = trim($article->find('div.post_text', 0)->plaintext);

$ret[] = $item;
}

// clean up memory
$html->clear();
unset($html);

return $ret;
}

// -----------------------------------------------------------------------------
// test it!
$ret = scraping_slashdot();

foreach($ret as $v) {
echo $v['title'].'';
echo '<ul>';
echo '<li>'.$v['body'].'</li>';
echo '</ul>';
}
?>

[mamali-mohammad]

ممنون میشم یه کمک کنی

[MostafaEs3]

//////////

[mamali-mohammad]

ممنون داداش خوب کار کرد
چطوری میتونم ای دی یه تگ رو بدست بیارم ؟
مشکل کلاس های فاصله دار رو چطوری میشه حل کرد ؟

[mamali-mohammad]

ممنون میشم یه کمکی کنی

[mamali-mohammad]

دوستان ؟
کسی نیست ؟

[MostafaEs3]

//////////

[mamali-mohammad]

اقا دمت گرم
من از کدتون استفاده میکنم و اکثر سایت ها ردیفه
اما نمی دونم چرا روی سایت sbobet جواب نمیده
این کد من :
<?php
header('Content-Type: text/plain; charset=utf-8');
error_reporting(E_ALL);

## [Config]->Define
define('APPLICATION_HTTP', '//application');
define('APPLICATION_DIR', '');

## [Config]->Require
require_once(APPLICATION_DIR . 'library/curl.php');
require_once(APPLICATION_DIR . 'library/function.php');
require_once(APPLICATION_DIR . 'library/simple_html_dom.php');

## [Config]->Classes
$library = new stdClass();
$library->curl = new Curl();
$library->dom = new simple_html_dom();

$data = array();
$errors = array();

$data['contents'] = $library->curl->Open('http://www.sbobet.com/euro/football')->contents;

$library->dom->load($data['contents']);
foreach (array('style', 'script', 'meta', 'link') as $tag) {
foreach ($library->dom->find($tag) as $element) { $element->outertext = ""; }
}
foreach (array('abbr', 'acronym', 'wbr', 'span', 'font', 'b', 'u', 'i', 'q', 's', 'strong', 'em', 'strike', 'dfn', 'code', 'samp', 'kbd', 'var', 'time', 'sub', 'sup', 'small', 'big', 'cite', 'bdo', 'bdi', 'mark') as $tag) {
foreach ($library->dom->find($tag) as $element) { $element->outertext = $element->innertext; }
}

$library->dom->load($library->dom->save());

foreach ($library->dom->find('table[class=Onex2]') as $article) {

foreach ($article->find('a[class=more]') as $remove_1) { $remove_1->parent->innertext = ""; }
foreach ($article->find('a[class=cal]') as $remove_3) { $remove_3->innertext = ""; }
foreach ($article->find('a[class=comment]') as $remove_2) { $remove_2->innertext = ""; }

//$item = array();
echo $item['title'] = $article->find('tr td.Fav') ? build_inline($article->find('tr td.Fav', 0)->plaintext) : "";
echo "\n";echo "1";

$articles[] = $item;
}

?>

[mamali-mohammad]

داداش یه کمکی بدی ممنون میشم