ورود

View Full Version : طراحی خزنده با پایتون



fateme_abdi
پنج شنبه 08 مهر 1395, 23:09 عصر
سلام.من می خوام یه خزنده ی وب طراحی کنمبا پایتون ولی هرچی می گردم الگوریتمی براش تو سایتای فارسی نیست.کسی یه الگوریتم بلده بهم بگهه؟
می دونم ک خزنده ها یه سری لینکا رو به عنوان هسته انتخاب می کنند و بعد لینکای اونا رو چک می کنن ولی می خوام بدونم همین لینکای هسته چطور پیدا میشن؟آیا میاد کل وب رو یه گراف جهت دار در نظر می گیره؟اگه آره آخه چنین گرافی همبند نیست ک چطور توش جست و جو می کنه؟

plague
جمعه 09 مهر 1395, 14:22 عصر
باید سورس کد html رو بگیری و کد ها رو بررسی کنی لینک ها رو بکشی بیرون ازش دنبال پکیج های html parser بگیرد
http://lxml.de/
https://scrapy.org/