گفتگو: قرار دادن مطالب سایت ها در نرم افزار و دیتابیس خود [بایگانی]

amir4015

جمعه 01 فروردین 1393, 13:28 عصر

با سلام
دوستان کسی نظری داره که چطور مطالب یک سایت رو در دیتابیس خود ذخیره کنیم
نرم افزار های اینطوری هست به عنوان خبر خوان
به نظر شما از rss باید اینکارو کرد یا...؟

anotheruser

جمعه 01 فروردین 1393, 19:50 عصر

سلام،
متنای RSS که کامل نیستن ، مگر اینکه بخواین فقط تایتل ها و خلاصه ای از مطلب رو در آرین که در این صروت RSS خیلی راحت تر هست و نیاز به اجازه گرفتن از صب خونم نیست،چون RSS دقیقا برا خونده شدن توسط نرم افزارهاست،اما اگر قصد دارید یه چیزی مث Crawler ها Bot ها درست کنید ابتدا باید از صاب سایت اجازه بگیرید تا اگه صاحبش متوجه شد IP تون رو مسدود نکنه ،(البته این در حالتی هست که شما از یه IP ثابت یا یه سرور برا اینکار استفاده کنید)،بعدش می تونید با خیال راحت به سایت مورد نظر یک HttpRequest ارسال کنید و محتوای سایت رو به صورت HTML بگیرید که نمونش در اینجا (http://stackoverflow.com/questions/4510212/how-i-can-get-web-pages-content-and-save-it-into-the-string-variable) هست، بعد باید بتونید با رشته ها سر و کله بزنید و اونها رو تجزیه بکنید و در نهایت اون رو Text مورد نظر تبدیل کنید،روش های زیاد و کتابخانه های که برای اون هست که می تونید استفاده کنید ،اما اگر به هردلیل نخواستید از کتابخانه ها و Parser های خارجی استفاده کنید،باید در کار با regular expression ها تسلط پیدا بکنید(در منابع فارسی سرچ کنید عبارات با قاعده)،که در اینترنت و در همین سایت منابع زیادی براش هست.. موفق باشید

ehsan2589040

دوشنبه 04 فروردین 1393, 00:18 صبح

یه وب بروزر بزار داخل فرمت وبا استفاده از inspect element اطلاعاته سایتها را پردازش کن
راحته