موتورهای جستجوگر

[mas'ood]

با سلام خدمت دوستان
سعی خواهیم داشت مباحثی رو در مورد چگونگی رفتار "موتورهای جستجوگر" بررسی کنیم .
البته درباره "الگوریتم های این موتورها" نیز به وفور میتوان بحث کرد اما بنده به شخصه اطلاعات دقیقی در مورد خود این الگوریتمها بطور علمی و وسیع ندارم. و بیشتر در مورد چگونگی رفتارها و عکسالعملهای این موتورها نسبت به وب سایتها میتونم کمکی بکنم.
من پیشنهاد ساخت یک "تالار" جدید در مورد "موتورها" را دادم ولی مدیران سعی دارند که در ابتدا ما در این قسمت (یعنی "الگوریتم") کار رو شروع کنیم و در صورت موفقیت نسبی یک تالار اختصاصی ایجاد شه.
پس ما سعی خواهیم داشت تا خود الگوریتمها و چگونگی رفتارهای موتورها رو نقد و در صورت امکان به سوالات پاسخ بدهیم.
البته با کمک همه شما دوستان دوست داشتنی!

[vbapr2005]

خوبه
اما حالا چرا دو تا تاپیک راجع بهش زدی؟
تا اونجایی که من میدونم موتور های الان فقط جستجو گر نیستند. بلکه اونا وب سایت های جدید رو هم شناسایی می کنن(که البته ما میتونیم الگوریتم جستجوکردن رو در صورتی بررسی کنیم که فقط تعداد محدودی وب سایت داریم) به علاوه موتور های جستجوی الان تیتر های صفحات وب سایت ها رو هم تشخیص می دن که این خودش هم یه بحثیه

به نظر من ما باید اول صورت مسئله برامون روشن بشه که آیا اصلا این موتور ها هوش مصنوعی دارن؟
مثلا فرض کن کلمات هم معنی رو تشخیص میدن یا نه؟ یا ... ؟
من فکر می کنم که فقط طرح این سوال هم خیلی کار سختی هست(طرح دقیق این که یک موتور جستجو چه کاری می کنه)

[mas'ood]

روست عزیزم Vb
درمورد اینکه چرا 2 تا تاپیک گذاشتم باید بگم که دلیلی نداشته! فقط یه اشتباه
در مورد اینکه تایید کردی که کار خوبییه (بحث در مورد موتورها) هم خیلی ممنون. متشکرم دوست عزیز
و اما صحبت اصلی که داشتم راجع به سوالاتی بود که داشتی و اینکه ما در واقع نمیدونیم "بحث اصلی" چیه و ما اصلا قصدمون چیه هم باید بگم تا حدودی شما درست میگی ولی خب خیلی هم از جریان بدور نیستیم و تقریبا میتونیم روش بحث کنیم من یه سری تحقیقاتی رو توی این زمینه داشتم و چند تایی هم مقاله.
سعی میکنم هر از چند گاهی مطالبی رو بیان کنم ببینیم کار به کجا میرسه البته به شرطی که شما هم کمک کنید و راهنمایی هم فراموش نشه.برای شروع کار هم به معرفی انواع موتورها میپردازیم:

ساختار موتورهای جستجو

ساختار کلی کار موتورها بدین ترتیب است که هنگامی که شما مثلا عبارت "فناوری اطلاعات آزاد قزوین" را جستجو میکنید در ابتدا موتور در بانک اطلاعاتی خود جستجو کرده و وب سایتهایی را که دارای کلمات "فناوری" "اطلاعات" "آزاد" و "قزوین" هستند را لیست میکند. و سپس با توجه به معیارهی خاصی مثل دوری و نزدیکی و تراکم کلمات در سایت آنهاا را رتبه بندی و لیست میکند. این یک تعریف بسیار کلی از کاری بود که موتورها انجام میدهند.در ادامه سعی میکنیم کمی دقیق تر به موضوع نگاه کنیم.
موتورهای معمولا متشکل از 5 بخش اصلی میباشند :
1- Spider : که به آن "عنکبوت" نیز گفته میشود دارای وظیفه جستجو و جو و گشت و گذار در اینترنت میباشند. بدین معنی که این ابزار (Application) در زمانهای مشخصی فعال شده و به اینترنت و وب سایتهای مختلف رفته و وب سایتها را همانند یک کاربر معمولی بازدید میکند و وظیفه اش پیدا کردن وب سایتهای جدیدی است که تازه ایجاد شده و یا وب سایتهایی که تا بحال در بانک اطلاعاتی آن موتور ثبت نشده اند است.
2- Crawler : این ابزار در واقع کار مدیریت Spider را بر عهده دارد.
من در بسیاری از مقالات و در کتابهای مختلف دیده ام که دوستان Spider و Crawler را یکسان میدانند! این در حالیست که Crawler وظیفه اش مدیریت و کنترل Spider است بدین معنی که Crawler مشخص میکند که Spider در چه زمانی میبایست فعال شود و تا چه سطحی از وب سایت را میتواند جلو برود و بازدید کند. خیلی وقتها اتفاق میفتد هنگامی که Spider به داخل وب سایتی میرود در یک حلقه (Loop) گرفتار میشود و نمیتواند از آن سایت بیرون بیاید و در واقع وظیفه اینگونه کنترلها بر عهده Crawler است.
3- Indexer : هنگامی کهSpider کار مشاهده را انجام داد و اطلاعات وب سایت را خواند , این اطلاعات را تحویل Indexer میدهد و Indexer شروع به تجزیه و تحلیل کردن و مشخص کردن کلمات کلیدی و تراکم کلمات است تا بتواند از این آمار و ارقام در رتبه بندی سایتها استفاده کند.همچنین بعضی از Indexer ها با توجه به موضوع آن وب سایت , آن را در بخش مربوطه قرار میدهند.مثلا اگر موضوع سایت درباره "بیماری جنون گاوی" باشد Indexer آن سایت را در قسمت Health قرار میدهد.
4 – Database : همان طور که از اسم آن نیز مشخص است وظیفه اش نگهداری اطلاعات دسته بندی شده است تا بتوان براحتی به آن دسترسی داشت.
5 – Algorithm : چهار قسمتی که در بالا معرفی شد در اکثر موتورها مشترک و یکسان است. مهمترین و اصلی ترین قسمت موتورهای جستجوگر همین قسمت "الگوریتم" است که موتورها را از هم متمایز میکند. هر موتور برای خود یک الگریتم خاص دارد. و اما وظیفه این الگوریتم , رتبه بندی وب سایتها بر اساس معیارهای خاص خود است.


تا اینجا تقریبا مختصر به موتور نگاه کردیم. سعی میکنم در پست های بعد آنرا بیشتر باز کنم و دقیق تر به موضوع نگاه کنیم.
لازم به ذکر است که مطالب بالا قسمتهایی از یکی از مقالات چاپ شده بنده در یکی از مجلات میباشد بنابراین فکر نمیکنم لازم باشد که از "خودم" برای استفاده از آنها اجازه بگیرم یا ذکر نام کنم
.::Mas'ood::..

[jalil_programmer]

با سلام خدمت همه دوستان
من یه سوال داشتم: موتورهای جستجو خود صفحات وبی که توسط اسپایدر یافته اند را در پایگاه داده خود ذخیره می کنند یا فقط کلمات و بعضی اطلاعات آنها را یا هر دوی آنها؟
وچه لزومی دارد که خود صفحات را ذخیره کنند؟

[pooyanm]

با سلام خدمت همه دوستان
من یه سوال داشتم: موتورهای جستجو خود صفحات وبی که توسط اسپایدر یافته اند را در پایگاه داده خود ذخیره می کنند یا فقط کلمات و بعضی اطلاعات آنها را یا هر دوی آنها؟
وچه لزومی دارد که خود صفحات را ذخیره کنند؟
1. هر دو
2. مهمترین دلیل این است که در یک مرحله واژه های مهم نمایه گذاری (index) می شوند و در مرحله تحلیل و رتبه بندی به ازای هر جستجو حالات متفاوتی براساس فاصله، همسانی اندازه حروف و سایر معیارهای Ranking پیش می آید که نیاز به صفحه مرجع را اجتناب ناپذیر می کند حالا فرض کنید به ازای هر جستجوی پیش پا افتاده نیاز است به مرور و دسته بندی چند هزار صفحه که واژه X و Y قبلا از آنها نمایه گذاری شده. در این صورت دریافت چند هزار صفحه از چند هزار سایت زمانی فوق العاده زیاد می طلبد که جز با ذخیره در Cache جستجوگر این دسترسی سریع با اتصالات فعلی شبکه ها ممکن نیست.

[spider100]

با سلام و خسته نباشید
میخواستم تفاوت دایرکتوری و موتور های جستجو را توضیح دهید
ممنون

[pooyanm]

ببخشید که دیر جواب دادم
به پوپ (پرسش و پاسخ) شماره 5 در این صفحه نگاه کنید:
http://www.monash.com/spidap2.html


5. What's the difference between a Web directory like Yahoo and a Web search engine like Google?

[merelin]

سلام می خواستم بدونم کسی اینجا اطلاعاتی در مورد الگوریتم موتور جستجوی گوگل داره؟
ممنون میشم اگه برام بفرستید

[mountainking]

من در بارهء گوگل همین قد مدونم که یه ترکیبی از ANN و GA هستش.

[zahra6688]

زاستی تفاوت موتور های جستجوگر در چیه؟چرا مثلا گوگل پر طرفذار تره و نتایج بهتری رو به ما می ده؟

[sajjad951]

سلام ضمن تشکر از ایجاد کننده این گفتگو آیا کسی مرجعی می شناسه؟

[pooyanm]

برای موتورهای جستجو مرجع که زیاده بخونش پیدا نمی شه
برای نمونه مجله اینترنتی Search Engine Watch یکی از بهترین منابع محسوب می شه:
http://www.searchenginewatch.com
به عنوان یک نمونه عینی هم طبق انتظار گوگل بیشترین منابع را به خودش اختصاص داده اینها هم برخی وبلاگهای مهمتر با گرایش عمومی
وبلاگ رسمی گوگل:
http://googleblog.blogspot.com
وبلاگهای سایر بخشها:


http://adsense.blogspot.com/
http://adsense.googlechinablog.com/
http://adsense-de.blogspot.com/
http://adsense-fr.blogspot.com/
http://adsense-ja.blogspot.com/
http://adsense-ko.blogspot.com/
http://adsense-nl.blogspot.com/
http://adsense-pt.blogspot.com/
http://adsense-tr.blogspot.com/
http://adwordsapi.blogspot.com/
http://adwords-br.blogspot.com/
http://adwords-es.blogspot.com/
http://adwords-ja.blogspot.com/
http://analytics.blogspot.com/
http://analytics-ja.blogspot.com/
http://blog.google.org/
http://blog.orkut.com/
http://blogsofnote.blogspot.com/
http://blogsofnote-es.blogspot.com/
http://booksearch.blogspot.com/
http://buzz.blogger.com/
http://en.blog.orkut.com/
http://gearsblog.blogspot.com/
http://gmailblog.blogspot.com/
http://googleajaxsearchapi.blogspot.com/
http://google-au.blogspot.com/
http://googlebase.blogspot.com/
http://googlebase-de.blogspot.com/
http://googlebrasilblog.blogspot.com/
http://googlecheckout.blogspot.com/
http://googlecheckoutapi.blogspot.com/
http://googlechinablog.com/
http://google-code-featured.blogspot.com/
http://google-cpg.blogspot.com/
http://googlecustomsearch.blogspot.com/
http://google-cz.blogspot.com/
http://googledataapis.blogspot.com/
http://googledesktop.blogspot.com/
http://googledesktopapis.blogspot.com/
http://google-d-s.blogspot.com/
http://googleenterprise.blogspot.com/
http://google-health-ads.blogspot.com/
http://googleitalia.blogspot.com/
http://googlejapan.blogspot.com/
http://googlekoreablog.blogspot.com/
http://google-latlong.blogspot.com/
http://googlemapsapi.blogspot.com/
http://googlemashupeditor.blogspot.com/
http://googlemexicoblog.blogspot.com/
http://googleonlinesecurity.blogspot.com/
http://googlepolska.blogspot.com/
http://googlereader.blogspot.com/
http://googleresearch.blogspot.com/
http://googlerussiablog.blogspot.com/
http://googlesummerofcode.blogspot.com/
http://googletalk.blogspot.com/
http://googletesting.blogspot.com/
http://googlewebmastercentral.blogspot.com/
http://googlewebmastercentral-de.blogspot.com/
http://googlewebtoolkit.blogspot.com/
http://it-adsense.blogspot.com/
http://librariancentral.blogspot.com/
http://sketchupdate.blogspot.com/
http://www.googlechinawebmaster.com/