Web Crawler

[sara_khersi2000]

سلام دوستان
من میخوام webcrawler طراحی کنم با زبان C#‎
web crawler یه برنامه نرم افزاری است که دارای سربازایی به اسم spider است که این سربازا وطفیه دارند web ها را جستجو کنند و با توجه به عنوان وب و محتوای آن وب ان را ایندکس گزاری می کند و در پایگاه داده crawler قرار می دهد و زمانی که کاربر موضوعی را درخواست می دهد web crawler پایگاه داده خود را جستجو میکند و ادرس وب های مرتبط را برای کاربر نشان میدهد.

از شما دوستان عزیز خواهشمندم در صورتی که با کتاب یا سایتی برای راهنمایی در مورد کدنویسی web crawler اشنایی دارید اینجانب را راهنمایی کنید.

با تشکر

[mehdi.mousavi]

سلام دوستان
من میخوام webcrawler طراحی کنم با زبان C#‎‎
web crawler یه برنامه نرم افزاری است که دارای سربازایی به اسم spider است که این سربازا وطفیه دارند web ها را جستجو کنند و با توجه به عنوان وب و محتوای آن وب ان را ایندکس گزاری می کند و در پایگاه داده crawler قرار می دهد و زمانی که کاربر موضوعی را درخواست می دهد web crawler پایگاه داده خود را جستجو میکند و ادرس وب های مرتبط را برای کاربر نشان میدهد.

از شما دوستان عزیز خواهشمندم در صورتی که با کتاب یا سایتی برای راهنمایی در مورد کدنویسی web crawler اشنایی دارید اینجانب را راهنمایی کنید.

با تشکر


سلام.
از اینکه بهمون یاد دادید که Web Crawler چیه، سپاسگذاریم. برای اینکه یاد بگیرید چطوری میتونید یک Bot، Crawler، Spider و ... بنویسید، میتونید به این کتاب (http://www.amazon.com/Programming-Spiders-Intelligent-Agents-Microsoft/dp/0735605653) رجوع کنید. البته اطلاع ندارم که تجدید چاپ شد یا خیر، چون من خودم اینو 9 سال پیش خریده بودم. البته بزبان C++ هستش، اما کتاب بسیار خوبیه.

موفق باشید.

[behnam-s]

http://www.beamartyr.net/jerusalem.pm/crawler/img0.html

[sara_khersi2000]

سلام . من به شدت نيازمند مقالاتي در مورد الگوریتم خزنده وب و عملكرد موتورهاي جستجو ، و الگوريتمهاي بهينه كردن موتور جستجو و Semantic web يا همان وب معنايي و نسل آينده خزنده وب كه با وب معنايي كار ميكند، هستم. خزنده وب يك بانك اطلاعاتي قوي داره كه سايتها رو توسط سربازانش كه Spider نام دارند مرور مي كنه و كلمات كليدي موجود در سايت و فايلها و عكسها رو براي Crawler مياره. بعد بر اساس بيشترين بازديد از سايت گروه بندي مشند و شما هر موقع براي جستجو در موتور جستجو عبارتي رو تايپ مي كنيد از بانك اطلاعاتي ، نتايج جستجوي خزنده براي شما در كمترين فرصت اعلام مي شه. و هر چند وقت يكبار مجددا خزنده يك Spider براي بروز رساني اطلاعات بانك در مورد يك سايت ارسال مي كنه .
اگر از دوستان كسي هست كه در اين زمينه كمك كنه ممنون مي شم . همچنين پروژه پياده سازي يك خزنده وب روي يك سيستم محلي رو دارم انجام مي دم . اما نميدونم توي C#‎ چه طوري ميشه صفحات وب داخل يك فولدر رو باز كرد و فقط متن قابل مشهاده كاربر رو دريافت كرد و عكسها و فايلهاي ضميمه صفحه وب رو تشخيص داد تا در يك بانك ذخيره كنيم؟؟؟؟ PLZ HELP ME

[mehdi.mousavi]

سلام . من به شدت نيازمند مقالاتي در مورد الگوریتم خزنده وب و عملكرد موتورهاي جستجو هستم.

به پست قبلی من رجوع کنید و از داستان پردازی پرهیز کنید. شما 30 بار دیگه هم این سوال رو ارسال کنید، پاسخ همونی هستش که در پست قبلی بهتون دادم. اگر دنبال یک کد حاضر و آماده هستید که تحویل استاد، کارفرما و ... بدید، آدرس سایت رو اشتباه دادن خدمتتون! برای اینکار میتونید به http://www.getafreelancer.com مراجعه کنید.

اینجا محلی برای گرفتن کد، مقاله، بانک اطلاعاتی و ... نیست و فقط سرنخها به کاربران داده میشه.

موفق باشید.