اساس کار برنامه های خبرخوان چطوریه؟

[gilas1368]

سلام به همه
سوال من اینه ک برنامه هایی مثل برنامه های خبرخوان یا مثلا برنامه ای ک اطلاعات مختلف رو از سایت های مختلف جمع میکنه (مثل اطلاعات پروازهای چارتر) چطوری کار میکنن؟
آیا ربات و موتور خاصی در سمت سرورشون دارن یا صرفا لیست ی سری سایت رو دارن و میرن اون سایت رو جاروب میکنن؟


ممنون میشم اگ کسی اطلاعاتی در این زمینه داره در اختیارم قرار بده

[بیتا حکمت]

سلام . اکثر سایت ها امروزی RRS دارن که ساختارش به شکل فایل XML هست . و در اون ساختار عنوان مطلب درج شده ، قسمتی از متن درج شده (برای بعضی از سایت ها کل متن هست ) و تاریخ مطلب هست . RRS سایت های مبدا رو وارد بخشی از خبرخوان می کنن ، تا سیستم خبرخوان در یک بازه زمانی RRS سایت های مرجع رو چک کنه .
البته این کلیت موضوع هست و ممکنه تو پیاده سازی سیستم خبرخوان جزئیاتی هم پیش بیاد ، مثلا" بعضی از سایت ها RRS ندارن ، در این صورت از تگ های HTML اون سایت استفاده میشه و کار خوندن اطلاعات به مراتب سخت تر میشه

[gilas1368]

سلام . اکثر سایت ها امروزی RRS دارن که ساختارش به شکل فایل XML هست . و در اون ساختار عنوان مطلب درج شده ، قسمتی از متن درج شده (برای بعضی از سایت ها کل متن هست ) و تاریخ مطلب هست . RRS سایت های مبدا رو وارد بخشی از خبرخوان می کنن ، تا سیستم خبرخوان در یک بازه زمانی RRS سایت های مرجع رو چک کنه .
البته این کلیت موضوع هست و ممکنه تو پیاده سازی سیستم خبرخوان جزئیاتی هم پیش بیاد ، مثلا" بعضی از سایت ها RRS ندارن ، در این صورت از تگ های HTML اون سایت استفاده میشه و کار خوندن اطلاعات به مراتب سخت تر میشه


ممنون از توضیحاتتون
منظور من هم سایت های فاقد خبرخوان هستن
در این صورت باید ی موتور اسپایدر نوشت ک اطلاعات موجود روی سایت رو بررسی کنه و نتایج رو برگردونه

میخوام بدونم بهترین روش های جمع آوری اطلاعات از سایت های مختلف ( البته قاعدتا این سایت ها ی لیست از قبل تعیین شده هستن) چیان و طریقه کارشون چطوریه.

[بیتا حکمت]

ممنون از توضیحاتتون
منظور من هم سایت های فاقد خبرخوان هستن
در این صورت باید ی موتور اسپایدر نوشت ک اطلاعات موجود روی سایت رو بررسی کنه و نتایج رو برگردونه

میخوام بدونم بهترین روش های جمع آوری اطلاعات از سایت های مختلف ( البته قاعدتا این سایت ها ی لیست از قبل تعیین شده هستن) چیان و طریقه کارشون چطوریه.

برای سیستم های فاقد RRS، باید تگ های HTML اون سایت استاندارد باشن و شما مطالب رو از داخل تگ های HTml بخونید .

نکته دیگه اینکه همیشه لازم نیست RRS سایت های رو دستی وارد کنید . مثلا" بعضی از سیستم های خبرخوان که مطلب رو از بلاگفا میخونن ، اخرین لیست وبلاگ های به روز شده
رو در میارن ، بعد از روی وبلاگ می تونن ادرس RRS وبلاگ چی هست . چون تنها فرقی که بین آدرس RRS وبلاگ های بلاگفا هست فقط ( اسم وبلاگه )

[gilas1368]

برای سیستم های فاقد RRS، باید تگ های HTML اون سایت استاندارد باشن و شما مطالب رو از داخل تگ های HTml بخونید .

نکته دیگه اینکه همیشه لازم نیست RRS سایت های رو دستی وارد کنید . مثلا" بعضی از سیستم های خبرخوان که مطلب رو از بلاگفا میخونن ، اخرین لیست وبلاگ های به روز شده
رو در میارن ، بعد از روی وبلاگ می تونن ادرس RRS وبلاگ چی هست . چون تنها فرقی که بین آدرس RRS وبلاگ های بلاگفا هست فقط ( اسم وبلاگه )

درسته، اما توجه کنین که قرار نیس اطلاعات ی وبلاگ بازخوانی و تجزیه و تحلیل بشه.
اطلاعات موجود روی ی سری سایتهای خاص قرار خونده و مطالب مورد نیازش بازیابی بشه این رو هم در نظر بگیرید که اطلاعات موجود رو این سایت ها در لحظه اگ نخوایم بگیم هر ی ساعت آپدیت میشه

[بیتا حکمت]

درسته، اما توجه کنین که قرار نیس اطلاعات ی وبلاگ بازخوانی و تجزیه و تحلیل بشه.
اطلاعات موجود روی ی سری سایتهای خاص قرار خونده و مطالب مورد نیازش بازیابی بشه این رو هم در نظر بگیرید که اطلاعات موجود رو این سایت ها در لحظه اگ نخوایم بگیم هر ی ساعت آپدیت میشه

والا تا جایی که من اطلاع دارم آدرس RRS سایت های این RRS رو خود کاربر اسکرپیت خبرخوان یا برنامه نویس وارد می کنه . در مورد آپدیتش هم شما در بازه های زمانی چک می کنید مطلب جدیدی ارسال شده یا خیر .

[gilas1368]

والا تا جایی که من اطلاع دارم آدرس RRS سایت های این RRS رو خود کاربر اسکرپیت خبرخوان یا برنامه نویس وارد می کنه . در مورد آپدیتش هم شما در بازه های زمانی چک می کنید مطلب جدیدی ارسال شده یا خیر .

من متوجه منظورتون نمیشم؛ البته منظورم قسمت اول صحبتتونه

[بیتا حکمت]

شما پرسیدین که




آیا ربات و موتور خاصی در سمت سرورشون دارن یا صرفا لیست ی سری سایت رو دارن و میرن اون سایت رو جاروب میکنن؟



منظورم من این بود : آدرس یک سری سایت رو دارن و میرن اون سایت رو جاروب می کنن

[s3rv3r]

RRS کلمه جدیده؟؟؟

خواهر من اون RSS هست Really Simple Syndication
در ضمن پرواز های چارتری و ... هیچ کدوم Rss ندارن کارشون از طریق پالایش کردن صفحه هستش

[gilas1368]

RRS کلمه جدیده؟؟؟

خواهر من اون RSS هست Really Simple Syndication
در ضمن پرواز های چارتری و ... هیچ کدوم Rss ندارن کارشون از طریق پالایش کردن صفحه هستش

خواننده متوجه منظور میشه دوست خوبم

ممنون از پاسختون
اگ اطلاعات بیشتری دارید ممنون میشم در اختیار من و دوستان بذارید

این پالایش صفحه چ روش هایی داره و چطوری باید باهاش کارکرد؟
اسکریپت خاصی نیازه؟

[parniaznet]

سایت ها و اپلیکیشن های چارتری از وب سرویس استفاده می کنند و نحوه عمل کردشون اصلا ارتباطی به RSS و ... نداره.
تا اونجایی که من دنبالش بودم و اطلاعات گیر اوردم 2 تا وب سرویس کلا موجود هست که کل وب سایت ها و اپ های چارتری دارن ازش استفاده می کنند. که از این دو تا وب سرویس یکیش اصلی هست و دیگری از رو اون کپی میکنه
اون اصلیه رو هیچ کس معرفی نکرد و نتونستم پیداش کنم اما اون یکی وب سرویس های هالیدی هست که در لینک زیر میتونید ببینید :

http://www.hiholiday.ir/WebService


اپلکیشن های خبر خوان هم دو نوع داریم ، یک سری مبتدی که فقط rss رو می خونند و ...
یک سری هم خبر خوان های حرفه ای ، این اپلیکیشن ها اول یه اسکریپت خزنده php می نویسند و اطلاعات رو در دیتابیس سمت سرورشون ذخیره می کنند و اپلیکیشن هاشون فقط اطلاعات دیتابیس خودشون رو فراخونی می کنند. اسکریپت های خزنده زیادی وجود داره که میتونید سرچ کنید دانلود کنید اما معمولا اسکریپت های اماده جواب نمیدن و شما باید اول وب سایت هایی که قصد خواندن اخبارشون رو دارید رو انتخاب کنید و برای هر کدوم با توجه به نوع برنامه نویسیش یک متد خزنده به زبان php جدا گونه بنویسید.

[gilas1368]

سایت ها و اپلیکیشن های چارتری از وب سرویس استفاده می کنند و نحوه عمل کردشون اصلا ارتباطی به RSS و ... نداره.
تا اونجایی که من دنبالش بودم و اطلاعات گیر اوردم 2 تا وب سرویس کلا موجود هست که کل وب سایت ها و اپ های چارتری دارن ازش استفاده می کنند. که از این دو تا وب سرویس یکیش اصلی هست و دیگری از رو اون کپی میکنه
اون اصلیه رو هیچ کس معرفی نکرد و نتونستم پیداش کنم اما اون یکی وب سرویس های هالیدی هست که در لینک زیر میتونید ببینید :

http://www.hiholiday.ir/WebService

ممنون بابت اطلاعاتتون و تشکر بابت لینک

اما برنامه من قرار نیس اطلاعات پروازهای چارتر رو نمایش بده

کلا فاز برنامه من متفاوته اما در ی چیز با هم شباهت دارن و اونم اینه ک چطوری اطلاعات موجود روی ی سری از سایت های خاص رو میشه جاروب کرد و با توجه به ی سری از پارامترهایی ک باز هم از قبل تعیین میشن این اطلاعات رو آنالیز و اطلاعات موردنیاز رو ازش استخراج کرد.

[بیتا حکمت]

از دوستمون بابت تذکرش در مورد RSS ( یا RRS بود ؟ ) ممنونم :لبخند: اما سوال استارتر کلی بود ، من فکر کردم هر نوع خبرخوانی مد نظر ایشون هست .

پی نوشت : به خاطر اسیبی که به اعتماد به نفسم وارد شد ، احتمالا" تو اوج با برنامه نویسی خداحافظی کنم :قهقهه:

[gilas1368]

از دوستمون بابت تذکرش در مورد RSS ( یا RRS بود ؟ ) ممنونم :لبخند: اما سوال استارتر کلی بود ، من فکر کردم هر نوع خبرخوانی مد نظر ایشون هست .

پی نوشت : به خاطر اسیبی که به اعتماد به نفسم وارد شد ، احتمالا" تو اوج با برنامه نویسی خداحافظی کنم :قهقهه:

حالا شمام زیاد هندیش نکنینو بیخیال خداحافظی بشین:قهقهه:

[s3rv3r]

حالا من قصد نداشتم تضعیف روحیه کنم.

کل کار spider هایی که مطلب خاصی جمع میکنن این هست که که به هر زبانی میشه طراحی کرد
میتونه php باشه یا perl که رو سرور اجرا بشه یا نه میتونه با C# نوشته شده باشه رو سیستم خودت اجرا میشه و سایتت رو آپدیت میکنه یا حتی مستقیم تو android بتونی متن رو از html بکشی بیرون

1. دریافت کد html از صفحه -- مثلا سایت تابناک ( Rss داره) ولی متن خبر رو تو feed نمیاره ( ما هم دنبال متن خبر هستیم)
2. گشتن دنبال الگوی خاص(معمولا تگ و کلاس خاصی استفاده میکنه قسمت مطلب) html parser یا Regular Expression
3. گرفتن مطلب
4. ارسال به سرور یا ثبت در دیتابیس خودش

حالا برنامه شما یه درخواست به سرورت میده که الان من خبر فلان رو میخوام نتیجه یا فایل json که حاوی اطلاعات مورد نظره

[zarnoosheh]

سلام
این یه خبر خوانیه که جدیدا طراحی کردم :

سافت استریت (http://www.softstreet.ir/)