سیستم تجزیه و تحلیل اخبار

[anamajnoonolhosein]

سلام
ضمن عرض خدا قوت
دوستان می خواستم اگه لطف کنید به من بگید که آیا در c# امکان ساخت نرم افزار سیستم تجزیه و تحلیل اخبار وجود داره؟
اگه جواب مثبت هست اگه منت بزارید و بگید که چطور می شه این کار رو انجام داد یا اگه نمونه کد یا برنامه معرفی کنید ممنون می شم


یا اگه لطف کنید و بگید که چطور می تونم یه سیستم پایشگر اخبار به وسیله c# بنویسم باز هم ممنون می شم

[anamajnoonolhosein]

سلام
صبح همگی به خیر
دوستان لطف کمک کنید
کسی بین متخصصان نیست که من رو راهنمایی کنه؟

[محمد آشتیانی]

سلام
احتمالا چیزی که شما میخواهید انجام بدید ، با زبان های مختلفی از جمله #C قابل پیاده سازی هست ، ولیکن به اینصورت مطرح کردن سوال (کلی و بدون اینکه صورت مسئله مشخصی وجود داشته باشه) طبیعتا منجر به دریافت پاسخ نمی شود.

[anamajnoonolhosein]

سلام
ممنون از توجه شما
ببینید من می خوام یه سیستم مثل لایف وب که مثلا یه بخش تجزیه و تحلیل اخبار داره که اخبار رو از منابع مختلف جمع اوری می کنه بعد دسته بندی میکنه و...
حالا سوال من اینه که اولاً چه راهها و تکنیکهایی برای جمع آوری اطلاعات و اخبار وجود داره
دوما چطور یا با چه تکنیکی می شه اخبار یا اطلاعات رو دسته بندی کنیم مثلا سیستم چطور باید تشخیس بده که فلان خبر مربوط به دسته ورزشی هست؟

[رامین مرادی]

سلام
ممنون از توجه شما
ببینید من می خوام یه سیستم مثل لایف وب که مثلا یه بخش تجزیه و تحلیل اخبار داره که اخبار رو از منابع مختلف جمع اوری می کنه بعد دسته بندی میکنه و...
حالا سوال من اینه که اولاً چه راهها و تکنیکهایی برای جمع آوری اطلاعات و اخبار وجود داره
دوما چطور یا با چه تکنیکی می شه اخبار یا اطلاعات رو دسته بندی کنیم مثلا سیستم چطور باید تشخیس بده که فلان خبر مربوط به دسته ورزشی هست؟
طبیعتا شما باید rss سایتهای خبری رو بتونی بخونی. این مورد رو هم باید در نظر بگیرید که هر سایتی فرمت rss اون با سایت دیگه فرق میکنه و باید برا همه سایتهای خبری این مورد رو پیش بینی کنی. یا باید یه سیستم هوشمندی طراحی کنی که بتونی تگ های rss رو دربیاری و براساس یه سری کلمات از پیش تعریف شده دسته بندی یا متن خبر رو بفهمی کدوم تگه. یا فقط برنامت رو محدود کنی به چندتا سایت خبری که فمتشون رو داخل برنامت تعریف کردی و اخبار رو از اونا جمع آوری کنی.

[anamajnoonolhosein]

ممنون از جوابتون
اگه میشه دوستان راهنمایی کنن که چه طور میشه یه سیستم تحلیل محتوا مثل لایف وبhttp://lifeweb.ir/ که اطلاعاتش رو از شبکه های اجتماعی و خبرگزاری ها و... جمع می کنه طراحی کرد
بعد امارهای مختلفی رو روش ارائه میده
اصلاً آیا برای طراحی یه همچین سیستمی دانش خاص یا تکنیک خاصی از قبیل علم داده و... لازم هست؟

[hamid_hr]

اصلاً آیا برای طراحی یه همچین سیستمی دانش خاص یا تکنیک خاصی از قبیل علم داده و... لازم هست؟

بله باید حتما به مباحث bigdata و داده کاوی مسلط باشد
جمع اوری اطلاعات به خزنده وب میخواد که تقریبا راحتتره از بقیه قسمتها. تحلیل داده ها زمان بر هست و باید دانش اون رو داشته باشید

[anamajnoonolhosein]

ممنون از جوابتون
میشه لطف کنید بگید که داده کاوی رو از کجا شروع کنم؟
و چه چیزایی رو باید برا داده کاوی یاد گرفت؟

[anamajnoonolhosein]

ممنون از جوابتون
میشه لطف کنید بگید که داده کاوی رو از کجا شروع کنم؟
و چه چیزایی رو باید برا داده کاوی یاد گرفت؟

دوستان کسی نیست ما رو تو این زمینه کمک کنه

[anamajnoonolhosein]

ممنون از جوابتون
میشه لطف کنید بگید که داده کاوی رو از کجا شروع کنم؟
و چه چیزایی رو باید برا داده کاوی یاد گرفت؟


دوستان کسی نیست در این زمینه راهنمایی کنه؟

[hamid_hr]

برای داده کاوی
https://faradars.org/courses/fvdm9505-data-mining-concepts-and-techniques
سرفصل ها رو ببینید و اگه تونستین خودتون پیش برید وگرنه از کلاس آموزشی استفاده کنید
خزنده وب
https://faranesh.com/programming/15951-introduction-to-web-crawling-and-scraping-using-python

البته همه ی اینها با یک سرچ توی گوگل پیدا کردم.

[مهدی کرامتی]

قدم اول پیاده سازی چنین سیستمی پیاده سازی امکان خواندن صفحات وب و استخراج داده ها از آنهاست.

بهترین ابزار برای پیاده سازی چنین امکانی استفاده از کتابخانه HtmlAgilityPack است که از طریق Nuget قابل افزودن به پروژه است.

دریافت راهنمایی بابت نحوه استفاده از این کتابخانه هم با کمی سرچ در گوگل به نتایج خوبی خواهید رسید، چرا که مثال های بسیار متنوعی با استفاده از آن پیاده شده است.