طراحی خزنده وب با C#

[mohaddese136]

دوستان کسی یه منبع خوب میشناسه که طراحی خزنده وب (با C#) رو از اول آموزش بده ؟! انگلیسی یا فارسی بودنش مهم نیس ! کتاب یا سایت بودنش مهم نیست ! (حتی کتیبه هم باشه اشکال نداره ! ) اصلا کسی میدونه برا تحقیق و طراحی خزنده وب باید چیکار کرد؟! از کجا شروع کرد؟!

[reza9025]

سلام دوست عزیز.
این تاپیک (http://barnamenevis.org/showthread.php?76539-%D8%B7%D8%B1%D8%A7%D8%AD%DB%8C-%D9%88-%D9%BE%DB%8C%D8%A7%D8%AF%D9%87-%D8%B3%D8%A7%D8%B2%DB%8C-%DB%8C%DA%A9-%D8%AE%D8%B2%D9%86%D8%AF%D9%87-%D9%88%D8%A8-%D8%B3%D8%A7%DB%8C%D8%AA-(webSite-Crawler)) رو یه نگاهی بکن.

در ضمن اگه می خوای یه خزنده مثل گوگل ایجاد کنی باید بگم این کار شدنیه و با یکم پشت کار می تونی آن را ایجاد کنی. من خودم همچین چیزی ایجاد کردم ولی کار من کاملا متفاوته ولی بیس کار همون spider و Crawler و Indexer و ... iهستش.

حالا باید مطالب زیر را بخوبی یاد بگیری...

1. کار با یکی از پابگاه داده های غیر رابطه ای
2. کار با یکی از زبان های برنامه نویسی تحت وب.(PHP,C#و ....)
3. کار بایکی از زبان های برنامه نویسی تحت ویندوز یا لینوکس. (من خودم از c# استفاده می کنم ولی c++ خیلی عالیه اما یکیم یادگیری و کارباهاش صبر و حوصله می خواد).
5. ارتباط بانک اطلاعاتی غیر رابطه ای با زبان های برنامه نویسی که با آن کار می کنید.4. تحقیق در رابطه با اینکه موتور های جستوجو چگونه کار می کنند؟
6. امنیت سرور ها و نرم افزار های تحت وب
در ضمن در وسط کار به استفاده از یکی از بانک های اطلاعاتی رابطه ای مانند oracle یا SQLServer یا MySql یا ... محتاج خواهی شد.

spider یا جمع آوری کننده ی لینک ها و کدهای html رو تحت ویندوز بنویس. منظورم اینه جدا از برنامه ی تحت وب.
Crawler یا فرمانده را هم تحت ویندوز یا جدا بنویس.
حالا یه نرم افزار لازم داری که کار تکه تکه کردن کد های html رو انجام بده و آن ها را با نظم و ترتیب خاص در بانک ذخیره کنه.(محتوای با ارزش 100 رو در یه جا. محتوای با ارزش 90 رو یه جا و ...)
و همچنین دو نرم افزار دیگر یکی برای این که وقتی کاربر یه درخواست کاربر ها رو می گیره و آن ها رو به نرم افزار دومی می فرسته تا بعد از انجام عملیات امنیتی خاص جستوجو را انجام و نتایج را بر گرداند.


این همه نرم افزار جدا برای اینه که امنیت بره بالا و بعدا که کارت گرفت و درخواست ها زباد شد و یک سرور جوابگو نبود بتونی براحتی بر روی چند سرور تقسیم کنی و همچنین امنیت رو هم ببری بالا.

[mohaddese136]

سلام. مرسی بابت راهنمایی‌ها
منتها من منظورم اینه که قبل از همه‌ی این مراحل باید برای شروع چیکار کنم؟! به طور مثال من میخوام یه برنامه بنویسم که لازم دارم هر روز قیمت دلار رو از یه سایت بگیره. باید برای این کار یه خزنده بنویسم ؟! یا اصلا یه مثال خیلی ساده‌تر مثلا میخوام تمام شعر‌های حافظ رو از سایت گنجور کپی کنم تو یه دیتابیسی که خودم ساختم. میتونم یه خزنده بنویسم که این کارو بکنه ؟!

[reza9025]

بله می توانید از htmlAgilityPack استفاده نمایید. توی اینترنت منابع اینگلیسی زبادی هستش. می توانید از آن ها کمک بگیرید.

[t0pk0d3r]

htmlAgilityPack برای گرفتن اطلاعات از یک صفحه خیلی خوبه ولی اگه حوصله نوشتن یک خزنده رو ندارین، بهتره از یک خزنده متن باز استفاده کنین و برای خودتون سفارشی کنیدش. من abot (https://github.com/sjdirect/abot)رو پیشنهاد می‌کنم هر چند گزینه‌های دیگه‌ای هم هستند مثل NCrawler (https://ncrawler.codeplex.com/).
چند وقت پیش یه مسابقه برنامه نویسی دانشگاه شریف برگزار کرد که در یکی از سوالات از شرکت کنندگان خواسته شده بود که یه ربات بنویسن که سایت پی‌‌سی دانلود رو خزش کنه. قرار شده به زودی جواب‌های برتر رو منتشر کنند (http://blog.schallenge.ir/%D9%86%D9%81%D8%B1%D8%A7%D8%AA-%D8%A8%D8%B1%D8%AA%D8%B1-%D8%B1%D8%A7%D9%87-%DB%8C%D8%A7%D9%81%D8%AA%D9%87-%D8%A8%D9%87-%D9%85%D8%B1%D8%AD%D9%84%D9%87%E2%80%8C%DB%8C-%D8%AD%D8%B6%D9%88%D8%B1%DB%8C/#comments). اونجا رو هم سربزنید.

[reza9025]

با تشکر فراوان از کاربر t0pk0d3r (http://barnamenevis.org/member.php?91519-t0pk0d3r)

فکر کنم شخصی سازی این خزنده ها یکم دانش تخصصی می خواد. حالا اگه کسی بخواد از اول طراحی کنه بنظرم فرق داره تا اینکه بخواد شخصی سازی کنه. من خودم یه موتور جستوجوی کامل(اسپایدر و کراولر و ...) طراحی کردم که از خزنده های معرفی شده توسط شما برای کامل کردن بسیاد استفاده نمودم. بسیار سپاس گذارم

[armansp]

سلام دوست عزیز.
این تاپیک (https://barnamenevis.org/showthread.php?76539-%D8%B7%D8%B1%D8%A7%D8%AD%DB%8C-%D9%88-%D9%BE%DB%8C%D8%A7%D8%AF%D9%87-%D8%B3%D8%A7%D8%B2%DB%8C-%DB%8C%DA%A9-%D8%AE%D8%B2%D9%86%D8%AF%D9%87-%D9%88%D8%A8-%D8%B3%D8%A7%DB%8C%D8%AA-(webSite-Crawler)) رو یه نگاهی بکن.

در ضمن اگه می خوای یه خزنده مثل گوگل ایجاد کنی باید بگم این کار شدنیه و با یکم پشت کار می تونی آن را ایجاد کنی. من خودم همچین چیزی ایجاد کردم ولی کار من کاملا متفاوته ولی بیس کار همون spider و Crawler و Indexer و ... iهستش.

حالا باید مطالب زیر را بخوبی یاد بگیری...

1. کار با یکی از پابگاه داده های غیر رابطه ای
2. کار با یکی از زبان های برنامه نویسی تحت وب.(PHP,C#‎و ....)
3. کار بایکی از زبان های برنامه نویسی تحت ویندوز یا لینوکس. (من خودم از C#‎ استفاده می کنم ولی C++‎ خیلی عالیه اما یکیم یادگیری و کارباهاش صبر و حوصله می خواد).
5. ارتباط بانک اطلاعاتی غیر رابطه ای با زبان های برنامه نویسی که با آن کار می کنید.4. تحقیق در رابطه با اینکه موتور های جستوجو چگونه کار می کنند؟
6. امنیت سرور ها و نرم افزار های تحت وب
در ضمن در وسط کار به استفاده از یکی از بانک های اطلاعاتی رابطه ای مانند oracle یا SQLServer یا MySql یا ... محتاج خواهی شد.

spider یا جمع آوری کننده ی لینک ها و کدهای html رو تحت ویندوز بنویس. منظورم اینه جدا از برنامه ی تحت وب.
Crawler یا فرمانده را هم تحت ویندوز یا جدا بنویس.
حالا یه نرم افزار لازم داری که کار تکه تکه کردن کد های html رو انجام بده و آن ها را با نظم و ترتیب خاص در بانک ذخیره کنه.(محتوای با ارزش 100 رو در یه جا. محتوای با ارزش 90 رو یه جا و ...)
و همچنین دو نرم افزار دیگر یکی برای این که وقتی کاربر یه درخواست کاربر ها رو می گیره و آن ها رو به نرم افزار دومی می فرسته تا بعد از انجام عملیات امنیتی خاص جستوجو را انجام و نتایج را بر گرداند.


این همه نرم افزار جدا برای اینه که امنیت بره بالا و بعدا که کارت گرفت و درخواست ها زباد شد و یک سرور جوابگو نبود بتونی براحتی بر روی چند سرور تقسیم کنی و همچنین امنیت رو هم ببری بالا.

سلام ببخشید، میدونم تاپیک قدیمی هست ولی من هم می خواهم یک خزنده بسازم . سوالی دارم این بانک NoSQL دقیقا کجای کار بکار مییاد ؟