برنامه نویسی موتور جستجو

[mehdi4467]

سلام
من می خواهم یک موتور جستجو بنویسم.
با توجه به اینکه با PHP کار می کنم می خواهم با همین زبان این کار را انجام بدهم.
لطفا اگر اطلاعاتی دارید در اختیار من قرار بدهید.
مثلا من الان برای گرفتن اطلاعات از یک وب سایت از تابع Curl استفاده می کنم. آیا برای موتور جستجو هم باید از همین دستورات استفاده کنم یا راه بهتری وجود دارد؟
سوال کلی تر اینکه با PHP بهتر است نوشته شود یا زبان دیگری؟


ممنون

[hamedg1366]

سلام دوست عزیز ؛

بنده متاسفانه سواد PHP زادی ندارم که بتونم کمکتون کنم ، ازتون یه سوال دارم

منم برای واکشی اطلاعات از Curl و Dom استفاده میکنم اما برای لینک های داری کلمات فارسی به نمونه زیر مشکل خوردم :

http://www.mashreghnews.ir/fa/news/613248/سایه-جنگ-هیچ‌گاه-بر-سر-ملت-ایران-نبوده-استدستاوردهای-برجام-کجاست

اینم تایپیک منه (http://barnamenevis.org/showthread.php?528131-%DA%A9%D9%85%DA%A9-%D9%81%D9%88%D8%B1%DB%8C-%D9%85%D8%B4%DA%A9%D9%84-%D8%A8%D8%A7-%D8%A2%D8%AF%D8%B1%D8%B3-%D9%81%D8%A7%D8%B1%D8%B3%DB%8C-%D8%B5%D9%81%D8%AD%D8%A7%D8%AA-%D8%AF%D8%B1-%D8%AE%D9%88%D8%A7%D9%86%D8%AF%D9%86-%D8%A7%D8%B7%D9%84%D8%A7%D8%B9%D8%A7%D8%AA-%D8%B5%D9%81%D8%AD%D9%87) ، توی همین انجمن ، شما توی کدهای من مشکلی میبینید ؟ در صورت امکان کمک کنید ، با سپاس

[مهرداد سیف زاده]

ساخت موتور جستجو با ساخت جستجوگر سایت فرق میکنه. موتور جستجو هزاران سایت رو بصورت مداوم پالایش میکنه که سه ابزار crawler یا همون خزنده برای سرکشی و گرفتن، indexer برای اسندکش گذاری و پالایش، query که جستجو بر اساس کلمات کلیدی و سافتن نتایج از دیتابیس و ارجاع به لینک ذخیره شده.
ولی site search صرفا یه ابزار درونی هست که فقط هدف یه سایت رو میگیره و در اون سایت کلمه مورد نظر رو سرچ میکنه. کار شما با curl در واقع همن سایت site search هست نه موتور جستجو
هر چند الان شرکتی مثل گوگل انقدر آپدیت هست که لزومی نداره برای site search بصورت live کار کنه و کل سایت رو به محض ثبت مقاله جدید پالایش کرده و ذخیره داره.
ولی برای شروع میتونید از search engine های اوپن سورس شروع کنید
http://www.sphider.eu/about.php

[mehdi4467]

تشکر
برنامه های دیگری میشناسید؟