درخواست یک پروژه [بایگانی]

PrinceDotNet

دوشنبه 08 مرداد 1386, 17:45 عصر

سلام
می خواستم بدونم تا حالا روی پروژه ی یک Rss Reader کسی کار کرده.
یعنی امکان اضافه کردن فید , خواندن منابع و جمع آوری موارد تازه رو داشته باشه ؟
یا یک چیزی شبیه این

ممنون.

Behrouz_Rad

دوشنبه 08 مرداد 1386, 17:54 عصر

بله بنده این کار رو انجام دادم
یه چیزی مثل Crawler مد نظرتون هست.
سوالی داشتید بپرسید.

موفق باشید.

PrinceDotNet

سه شنبه 09 مرداد 1386, 02:37 صبح

میشه در مورد اینکه چطور بازبینی منبع می کنبد و چطور موارد تکراری رو پیدا کرده و اونها رو رد می کنید توضیح بدید !؟ منظورم اینه که آیا طبق زمانبندی خواصی این کار رو انجام می دید ؟

Behrouz_Rad

سه شنبه 09 مرداد 1386, 09:27 صبح

یکی از شرکت های نرم افزاری در تهران قبلا این کار رو انجام داده و مصاحبه ای نیز در چند روزنامه با سرپرست گروه تحقیقاتی این پروژه انجام شده بود.
البته اون پروژه با PHP نوشته شده بود.
انجام این کار در ابعاد گسترده نیاز به سخت افزار مناسب داره.
Crawler ها یا همان خزندگان!، در طی بازه های زمانی مشخص وظیفه ای رو که بهشون محول شده انجام میدن.
چون صحبت از زمان بندی به میان آمد، باید به طریقی این Job Scheduling رو در یک برنامه ی مبتنی بر وب انجام داد.
اون عامل محرک برای فراخوانی Job در بهترین حالت ممکن و در صورت مهیا بودن امکانات (Dedicated Server)، یک برنامه ی Win App میتونه باشه که در بازه های زمانی مختلف، منابعی رو که برای اون مشخص شده، آنالیز کنه.
در ابعاد کوچکتر میشه مثلا از Cache Callback استفاده کرد.
در حقیقت، برنامه ی وب تو تنها به عنوان یک واسط برای نمایش اطلاعات عمل می کنه و ساختار Crawling و Displaying از هم تفکیک شدن.
مهمترین بخش قضیه، همین زمان بندی کار هست.
سوال شما در مورد Rss Reader ها است اما در پردازش منابع، دو بحث پیش میاد.
یا سایت مربوطه RSS داره و یا نداره!
در صورتی که سایت امکان RSS رو فراهم کرده باشه، به راحتی میشه با روش های مختلفی که حتما در مورد اونها آگاهی داری این RSS رو خوند و مطالبش رو در پایگاه داده ذخیره کرد؛ اما در صورتی که منبع مورد نظر فاقد RSS باشه، بحث "پردازش الگوی نمایشی محتوا" پیش میاد.
بدین ترتیب که آنالیزر با بررسی نحوه ی نمایش مطالب در صفحه ای خاص (بررسی کدهای HTML)، این الگو رو به Crawler میده و Crawler با یاد گرفتن این الگو، به راحتی مطالب رو استخراج میکنه.
بالطبع اگر زمانی این الگو توسط منبع تغییر کنه، الگوی جدید باید برای Crawler تعریف بشه.

موفق باشید.

PrinceDotNet

سه شنبه 09 مرداد 1386, 19:47 عصر

بسیار ممنون از مطلبتون.(مخصوصا Crawler)
می دونم یک پروژه Open Source در این ابعاد احتمالا در دست رس نیست (ASPX). ولی شما یک پروژه مشابه (حالا احتمالا با کارایی کمتر از اونی که گفته بودید) برای نمونه سراغ دارید ؟ تا کمی بیشر با این موضوع آشنا بشم ؟

ممنون.

Behrouz_Rad

سه شنبه 09 مرداد 1386, 23:17 عصر

در ابعاد کوچکتر متاسفانه خیر اما اگر در قسمتی با مشکلی برخورد کردی میتونم کمکت کنم.

موفق باشید.