Hamed Beyranvand
یک شنبه 21 تیر 1394, 23:13 عصر
سلام دوستان.
یه سایتی رو با Dom Html پیمایش می کنم که در هر صفحه اگر 100 لینک وجود دارد 100 بار اون لینک هارو بازدید می کنم و محتوا صفحات رو در دیتابیس ذخیره می کنم(البته این کار curl در یه دقیقه انجام می دهد)
حالا احساس می کنم سایت مقصد این درخواست های منو شناسایی می کنه و اجازه این کار رو به من نمی دهد.
اگه فقط 100 لینکی که در صفحه اول هستنecho کنم مشکلی نداره ولی وقتی اون 100 لینک رو هم در یه حلقه قرار می دهم برای پیمایش هیچی بر نمی گرداند و دفعات بعد کلا انگار درخواست های من فیلتر می شوند.
حالا راه حل این کار چیه؟؟؟
$html = new \Htmldom($link);
foreach($html->find('.description a') as $link){
echo $link->href;
$link2 = new \Htmldom($link->href);
foreach($link2->find('h1') as $a){
echo $a->plaintext.'<br/>';
}
}
یه سایتی رو با Dom Html پیمایش می کنم که در هر صفحه اگر 100 لینک وجود دارد 100 بار اون لینک هارو بازدید می کنم و محتوا صفحات رو در دیتابیس ذخیره می کنم(البته این کار curl در یه دقیقه انجام می دهد)
حالا احساس می کنم سایت مقصد این درخواست های منو شناسایی می کنه و اجازه این کار رو به من نمی دهد.
اگه فقط 100 لینکی که در صفحه اول هستنecho کنم مشکلی نداره ولی وقتی اون 100 لینک رو هم در یه حلقه قرار می دهم برای پیمایش هیچی بر نمی گرداند و دفعات بعد کلا انگار درخواست های من فیلتر می شوند.
حالا راه حل این کار چیه؟؟؟
$html = new \Htmldom($link);
foreach($html->find('.description a') as $link){
echo $link->href;
$link2 = new \Htmldom($link->href);
foreach($link2->find('h1') as $a){
echo $a->plaintext.'<br/>';
}
}