ساخت RSS خوان خودکار

[Maryam.J]

سلام دوستان. توی سایت جستجو کردم، جوابم رو پیدا نکردم.
من میخوام برای خودم یه سایت RSS خوان بنویسم.
برای خوندن خودکار RSS از این دوتا مقاله استفاده کردم:
تایمر:
http://weblogs.asp.net/muhanadyounis/archive/2009/01/12/global-timer-background-timer.aspx
خوندن RSS:
http://www.codeguru.com/csharp/csharp/cs_network/internetweb/article.php/c10985/Displaying-RSS-Items-with-C-and-ASPNET.htm

اولا میخوام بدونم این روش ها درسته؟
دوما مشکلی که دارم اینه:
با این روش تو هربازه زمانی، همه خبرهای RSS به دیتابیس اضافه میشن. میخوام بدونم چطور بفهمم کدوم یکی رو قبلا خوندم که دوباره نخونم(یا به دیتابیس اضافه نکنم)

خیلی ممنون میشم اگه کمکم کنید :قلب:

[Maryam.J]

بروز رسانی

[fakhravari]

یه فیلد بزار تیک تایید همچین چیزی دیگه

[Maryam.J]

یه فیلد بزار تیک تایید همچین چیزی دیگه
یه فیلد کجا بذارم؟؟؟؟ من میخوام بدونم از RSS کدوم جدیده. یه چیزی میگینا! :افسرده:

[mehdin69]

لینک هایی که Rss میده میشه گفت unique هستند اگه لینک ها تکراری نباشند میگن مطلب جدیده

[fakhravari]

ببین
سادن که!
شما میتونید یه فیلد تایید بزارین که اگر تیک خورده بود نمایش بده پیشفرض هم false باشه

[Maryam.J]

لینک هایی که Rss میده میشه گفت unique هستند اگه لینک ها تکراری نباشند میگن مطلب جدیده
من هر 1 ساعت RSS رو چک میکنم و میخوام مطلب های جدید رو بگیرم. نه اونایی که 1 ساعت پیش گرفتم.



ببین
سادن که!
شما میتونید یه فیلد تایید بزارین که اگر تیک خورده بود نمایش بده پیشفرض هم false باشه
یعنی میگید خبرها بعدش توسط مدیر تایید بشه؟؟؟ میخوام خودکار باشه

[mehdin69]

خب کل مطالب توی هر یه ساعت رو میگیرد اونایی رو نگه میدارید که لینکشون یکی نیست مثل دستور Distinct توی sql که داده های تکراری رو حذف میکنه

[Maryam.J]

خب کل مطالب توی هر یه ساعت رو میگیرد اونایی رو نگه میدارید که لینکشون یکی نیست مثل دستور Distinct توی sql که داده های تکراری رو حذف میکنه

بله منم همین ب ذهنم رسید. ولی خوب یکم فشار روی سرور زیاد میشه دیگه..
اول اینکه کل RSS رو بگیره. بعد به ازای هر خبری که توی RSS هست کل دیتابیس رو یه بار چک کنه! این یکم زیاد نیست؟ فرض کنید بخواد 10 تا RSS رو چک کنه.
اگه بخوایم این کار رو بکنیم، چیزی که الان به ذهنم رسید اینه که توی لود اولیه، همه دیتابیس رو بریزه توی یه استراکت (مثلا عنوان و آدرس) بعد بجای اینکه RSS رو با دیتابیس چک کن، با اون چک کنه! این بهتره

[mehdin69]

ببخشید که اونجوری گفتم برام مهم این بود که بدونین چجوری Rss تکراری رو تشخیص بدید...
چند راه دارید اول : یه ارایه از مثلاً 10 داده آخر دیتابیس بسازید با تابع compare مقایسه کنین چیزی که الان می خواد بیاد تکراری هست یا نه دیگه اگه تکراری نبود ادامه کار رو انجام بدید ....
دوم شما همیطور همه چیز رو هر روز از rss بریزید تو دیتابیس هر یک ساعت فقط یه کار کوچیک می خواد کنین آخر هر روز دیتابیس رو یه Shirink کنین که زمان خیلی خیلی کمی میگیره ازتون ( البته اگه دیتابیس sql هست ).

[Maryam.J]

با تشکر از mehdin69، مشکلات قبلیم حل شد.
الان یه چیزی که نمیدونم چطوره و چیکارش کنم، عکس خبره! توی خیلی از RSS ها عکس خبر نیست ولی خبرخوان هایی مثل خبرفارسی (http://khabarfarsi.com/)برای هر خبر عکس میارن.
کسی میدونه اینو چیکارش باید بکنم؟ چطور عکس ها رو بگیرم؟ :متفکر:

[alireza.b]

اگر سایتتون وردپرس باشه با یه سرچ تو گوگل کلی افزونه خواندن rss و ارسال روی ساتتون رو پیدا می کنید

[Maryam.J]

ممنون. اما وردپرس نیست. خودم دارم از اول می نویسم :خجالت:

[Maryam.J]

بچه ها کمک کنید.
چطور عکس بگیرم برای RSS ها.:ناراحت:
ممون

[mehdin69]

خب اینکه کاری نداره شما که تا اینجاش اومدین
عکس ها معمولاً توی تگ img هستن به ترتیب هر node از فایل rss رو که می خونین بگردید دنبال تگ img و با استفاده از substring آدرس عکس رو بگیرید
با کلاس webclient عکس رو دانلود کنید و به پروژه خودتون اضاف کنین
به همین راحتی :)

[Maryam.J]

ممنون. حرف شما درسته. بعضی از RSS ها تگ img دارن که میتونم استفاده کنم.
اما خیلی ها ندارند. در حالی که اگه به این سایت نگاه کنید (http://khabarfarsi.com/)، میبینید با اینکه rss ها تگ img ندارند، برای خبرها عکس میاره. میخوام بدونم این چطوریه!! از کجا عکسها رو میاره؟:متفکر:
مسلما متن اصلی خبر رو که چک نمیکنه!! چون حجمش زیاد میشه!! :اشتباه:
ممنون میشم اگه کسی چیزی میدونه یا نظری داره بگه. :لبخندساده:

[mehdin69]

دقت کنین داره
عکس و پس کجا نشون بده خو؟ :دی


<description>&lt;div id = &quot;time_stamp&quot;&gt;&lt;h4&gt;زمان دریافت خبر: سه شنبه ۰۷ خرداد ۱۳۹۲ ساعت ۱۲:۵۸&lt;/h4&gt;&lt;/div&gt;&lt;div id = &quot;refrence&quot;&gt;&lt;h3&gt;منبع خبر: &lt;a href=&quot;/%D8%A8%D9%87%D8%A7%D8%B1_%D9%86%DB%8C%D9%88%D8%B2&quot; &gt;بهار نیوز&lt;/a&gt;&lt;/h3&gt;&lt;/div&gt;&lt;div id = &quot;category&quot;&gt;&lt;h3&gt;طبقه بندی: &lt;a href=&quot;/%D8%A7%D8%AE%D8%A8%D8%A7%D8%B1_%D8%B3%DB%8C%D8%A7% D8%B3%DB%8C&quot;&gt;سیاسی&lt;/a&gt;&lt;/h3&gt;&lt;/div&gt;&lt;p&gt;عابدینی در پاسخ به این سوال که شما در بحث انتقاد آقای روحانی به سازمان صداوسیما ورود نکردید، دلیلش چه بود؟ آیا اجازه این کار را نداشتید و یا خودتان نخواستید ورود کنید؟ توضیح داد: به صورت کلی گفت وگوی ویژه مناظره نیست و بنای چالش با کاندیدا را ندارد. بنابر این فرصتی ایجاد می شود تا داوطلب دیدگاه های خود را در حوزه اقتصاد، سیاست و فرهنگ بیان کند. قرار نیست که اگر کسی صحبتی را مطرح کرد، ما در مقام پاسخگویی برآییم. - در همین حال نظرسنجی های مختلف نشان از پیشی گرفتن محسن رضایی از چهار کاندیدای دیگر اصولگرایان دارد و این در حالیست که با وجود رد صلاحیت هاشمی رفسنجانی توسط شورای نگهبان ...&lt;/p&gt; &lt;div style = &quot;display: table;&quot;&gt;&lt;div style = &quot;float: right; margin-left: 10px; margin-top: 10px; display: table; position: static; height: 162px; overflow: hidden; width: 162px; border: 1px solid gray;&quot;&gt;&lt;div style = &quot;display: table-cell; position: static; vertical-align: middle; text-align: center; top: 50%; width: 100%;&quot;&gt;&lt;div style = &quot;margin-left: auto; margin-right: auto; width: 162px; position: relative; text-align: center;&quot;&gt;&lt;a href=&quot;http://khabarfarsi.com/n/5424531&quot;&gt;&lt;img src=&quot;http://ir.static.khabarefarsi.com/sites/default/files/imagecache/news_thumbnail/news_image/2013/05/28/8513697299751369729975_4433.jpg&quot; alt=&quot;روحانی، عارف و رضایی در صدر نظرسنجی ها&quot; title=&quot;روحانی، عارف و رضایی در صدر نظرسنجی ها&quot; width=&quot;150&quot; height=&quot;94&quot; class=&quot;imagecache imagecache-news_thumbnail&quot;/&gt;&lt;/a&gt;&lt;/div&gt;&lt;/div&gt;&lt;/div&gt;&lt;/div&gt;&lt;br /&gt;&lt;a href=&quot;http://khabarfarsi.com/ext/5424531&quot;&gt;مشاهده متن اصلی خبر&lt;/a&gt;</description>

توش نوشته


img src=&quot;http://ir.static.khabarefarsi.com/sites/default/files/imagecache/news_thumbnail/news_image/2013/05/28/8513697299751369729975_4433.jpg

:)
دیدین داره؟ :)

[Maryam.J]

اولا من گفتم این سایت خودش خبرخوانه و rss سایت های دیگه رو میخونه و در حالی اون rss ها عکس ندارند، براشون عکس میاره!
دوما نداره!!! :لبخند:
من منظورم این RSS هاست:
http://itanalyze.com/index.xml
http://www.mehrnews.com/rss
http://www.yjc.ir/fa/rss/allnews
http://niknews.ir/fa/rss/allnews
همونطور که میبینید، این rss ها نه تگ img دارند، و نه توی توضیحاتشون توی rss عکسی هست، با این حال اون سایت خبرخوان(خبرفارسی) براشون عکس میاره!!
چطوری؟؟؟:عصبانی++:
مرسی :ناراحت:

[mehdin69]

راه زیاد داره
اما اصولاً این سایت ها یه صفحه مدیریت دارن
صفحه مدیریت لینک rss رو میدن که rss ها خونده شه
بعد که rss ها خونده شد لینک rss ها میره برا تحلیل بصورت اتوماتیک حالا اینجا میکن rss که دادید خبر اصلی بین چه تگ هایی هست
مثلاً میزنن div با id=news :)
حالا خود برنامه خبر رو میخونه میریزه تو دیتابس خودش
لینک عکس و اینا هم میاد :)
با همون webclient میتونن صفحه رو دانلود کنن تا عکس صفحه به سایت خودشون منتقل شه
حالا که به سایت خودشون منتقل شد لینک و تصویر خبر کار میکنه
:)

[Maryam.J]

اون قسمت اول حرفاتون رو قبول دارم و منم همونطوری کار کردم :تشویق:
اما اینکه موقع خوندن RSS، برای هر خبر، متن کاملش رو میخونند و عکس رو از توش میگیرند یکم غیر منطقیه! :افسرده:
مثلا فرض کنید 20 تا rss ثبت شده باشه. هر 1 ساعت چک میشن. اگه هر ساعت به هر rss، حداقل 3 تا خبر هم اضافه شده باشه، یعنی هر ساعت باید 60 تا صفحه رو دانلود کنه! این یکم زیاده. تازه آمار رو خیلی کم گفتم!! :ناراحت:
پیشنهاد دیگه ای نیست؟؟

[mehdin69]

نه من کی گفتم هر بار همه رو دانلوود کنید؟ :-o
اونایی رو دانلود کنین که تکراری نیستن
داده زیادی می خواین دانلود کنین چی شه؟

[Maryam.J]

نه من کی گفتم هر بار همه رو دانلوود کنید؟ :-o
منم نگفتم شما یه همچین چیزی گفتین!!! :اشتباه:
من گفتم شما میگید همه اون جدیدایی که میخوام به دیتابیس اضافه کنم رو متنش رو با webrequest بگیرم. و به نظرم این یکم زمانگیره و به سرور فشار میاره. اینطوری نیست؟؟

[mehdin69]

شما به نتیجه رسیدید؟
برای image راه حل جمع و جور تری پیدا کردید؟

[Maryam.J]

شما به نتیجه رسیدید؟
برای image راه حل جمع و جور تری پیدا کردید؟
سلام دوست عزیز. من که هرچی گشتم راه حل بهتری پیدا نکردم. این روشی هم که اینجا روش بحث شد رو ترجیح دادم نذارم!! :اشتباه:
اگه چیزی پیدا کردم اینجا میذارم. :لبخندساده:

[Maryam.J]

من کلا میگم اگه من بخوام انجامش بدم چیکار میکنم. این یه مثاله. توی یه پروژه دیگه استفاده کردم. اما این کار هم شبیه همینه:

WebRequest request = WebRequest.Create(url);
request.Credentials = CredentialCache.DefaultCredentials;
System.Diagnostics.Stopwatch timer = new Stopwatch();
HttpWebResponse response = null;

try
{
response = (HttpWebResponse)request.GetResponse();
}
catch (Exception err)
{
errorstr = "خطایی رخ داد. جزئیات خطا:<br>درخواست شما TimeOut شد. بعدا دوباره تلاش کنید.";
return;
}



Stream dataStream = response.GetResponseStream();
StreamReader reader = new StreamReader(dataStream);
string responseFromServer = reader.ReadToEnd();

try
{
title = responseFromServer.Substring(responseFromServer.In dexOf("<title>") + 7);
title = title.Substring(0, title.IndexOf("</title>"));
}
catch { title = "ندارد"; }

توی این کد یه صفحه رو گرفتم و بعد با Substring گفتم از شروع <title> تا پایانش که میشه </title> بگیر. که میشه عنوان صفحه.
حالا فرض کنید اون صفحه ای که توضیحات خبر رو داره یه عکس داره. بالاخره عکسه توی یه تگی هست دیگه. یا مثلا یه کلاسی داره! یا یه ID داره. بالاخره به یه روشی اون عکس رو میشه پیدا کرد. همین.
من زیاد دنبالش نرفتم. اما شاید بشه بدون استفاده از Substring هم اون عکس رو پیدا کرد(مثلا شاید با id اون عکس) خودتون بگردید

[ایمان اختیاری]

سلام مریم خانوم . وقت شما بخیر .. در مورد مشکلتون به کجا رسیدید ؟ چون بنده هم دارم یه فید خوان می نویسم دنبال یه موضوع دیگه بودم رسیدم اینجا..

[mohammad-gh]

میشه یکی یه راه حل برای این مشکل بگه ، چون من هم دنبال گرفتن عکس از طریق rss هستم جالب اینجاست که افزونه های ورد پرس به سادگی این کار رو می کنند !!!!

[EnKamran]

با HtmlAgility کار کردید؟ یک کامپوننت برای ASP هست

[safa.net]

با سلام
اگه یک نمونه باشه بهتر میشه به صورت پروزه روش کار کرد

[yousefi.it]

من یه سایتی یافتم که خیلی خوب تصویری داره روی asp.net آموزش میده بصورت ویدیویی و تصویری در ضمن تدریس پایگاه دادش فوقالعاده هست.می زارم اگه خواستید استفاد کنید. البته چون عجله داشتم خریدم ازشون ولی شما صبر کنید ویدیوهاشو می زارن بزودی از ویدیو های دیگشونم می تونید استفاده کنید .
هدف از انتشار این پروژه آموزش به شما دوستان در زمینه طراحی وب سایت (http://www.youtobnet.ir) با زبان سی شارپ و محیط ASP.NET می باشد.

http://www.youtobnet.ir/%D8%A2%D9%85...%88%D9%84.html (http://www.youtobnet.ir/%D8%A2%D9%85%D9%88%D8%B2%D8%B4-%D8%A7%D8%AE%D8%A8%D8%A7%D8%B1-%D9%BE%D8%B4%D8%AA%DB%8C%D8%A8%D8%A7%D9%86%DB%8C/%D9%85%D8%B7%D8%A7%D9%84%D8%A8-%D8%A2%D9%85%D9%88%D8%B2%D8%B4%DB%8C/item/244-%D8%A2%D9%85%D9%88%D8%B2%D8%B4-asp-net-%D8%AC%D9%84%D8%B3%D9%87-%D8%A7%D9%88%D9%84.html)