کرال کردن اطلاعات در دو مرحله

[saeed-71]

سلام.
چجوری میشه در دو مرحله اطلاعات رو برداشت.
تو مرحله اول بره به اون سایت مورد نظر تمامی لینک های عنوان رو رو باز کنه
تو مرحله دوم بگیره اون صفحاتو که از روی عنوان بازشون کرده رو اون قسمتیو که من میخوامواطلعاتشو برداره و تو دیتابیس من بریزه

[majid100_z]

سلام.
چجوری میشه در دو مرحله اطلاعات رو برداشت.
تو مرحله اول بره به اون سایت مورد نظر تمامی لینک های عنوان رو رو باز کنه
تو مرحله دوم بگیره اون صفحاتو که از روی عنوان بازشون کرده رو اون قسمتیو که من میخوامواطلعاتشو برداره و تو دیتابیس من بریزه

اساتید اگر راهنمایی کنید منم خواهانم ....
ترجیا زبان C# باشه که عایه

[H:Shojaei]

سلام.
چجوری میشه در دو مرحله اطلاعات رو برداشت.
تو مرحله اول بره به اون سایت مورد نظر تمامی لینک های عنوان رو رو باز کنه
تو مرحله دوم بگیره اون صفحاتو که از روی عنوان بازشون کرده رو اون قسمتیو که من میخوامواطلعاتشو برداره و تو دیتابیس من بریزه
شما به یه curl نیاز دارید که صفحه مورد نظر رو واستون بگیره بعد به html dom parser نیاز دارید که صفحه که میگیرید رو میدین بهش و بهش میگین تمام لینکها رو پیدا کنه و بریزه توی یک آرایه...
بعد روی تمام لینکها foreach میزنید و به هر لینکی که رسیدین با curl اطلاعات صفحه رو میگیرید و اطلاعاتی که ازش میخواید رو برمیدارید و ذخیره میکنید...

[tuytoosh]

توی سایت شما با المنت های html سرو کار دارید و همونطور که دوستمون بالا گفت باید محتوای صفحات رو parse کنید و المنت دلخواهتون رو پیدا کنید... مثلا برای پیدا کردن عنوان ها میتونید دنبال لینکهایی بگردید که داخلشون از h1 یا h2 یا... استفاده شده و href اونها رو ذخیره کنید...