سلام اینکه بتونی محتوی رو از صفحه Html جدا کنی کار دشواری هست نه که امکان پذیر نباشه ولی امروزه از ابزار های مرسوم برای testing automation برای crawling استفاده میکنن کار رو به مراتب ساده کرده با استفاده از یک browser جانبی کار میکنن.من خودم چند سال پیش یه برنامه crawling نوشتم که تو سایت املاک میچرخید و دیتا جمع میکرد.تو گوگل جستجو web crawling رو جستجو کنید من خودم selenium رو پیشنهاد میکنم هم نمونه مثال و داکیومنت خوبی داره که استفاده کنی
https://www.makeuseof.com/tag/make-w...wler-selenium/
پاسخ با نقل قول