ربات خزنده ماننده ربات های گوگل

[aliphp1]

سلام دوستان یه سوالی دارم اگر کسی می تونه لطفا کمک کنه
می خوام بدونم اساس کار ربات های خزنده (مثل ربات های گوگل ) چطوریه ؟
یه توضیخ مختصر می خوام بدین از لحاظ فنی وبرنامه نویسی منظورم هست
یعنی اگر بخوایم یه ربات طراحی کنیم چطوری باید انجام بدیم ؟
ممنون

[alireza.stack]

خزنده رو می تونید با curl طراحی کنید که یک لینک آماده از بانک اطلاعاتی به عنوان داده های اولیه بهش تزریق کنید و بعد دادهای برگشتی رو که گرفتید تحلیل کنید ببینید کجاها از لینک استفاده شده است و آن لینک را به عنوان unvisited ذخیره کنید جدول دیگر و دوباره اونها رو در فواصل زمانی مختلف جستجو کنید و بانک اطلاعاتی خود را تکمیل تر کنید.

[aliphp1]

می خومام بدونم لینک ها چطوری بدست میاد ؟
مثلا گوگل اگه هیچ بک لینکی نداشته باشی باز هم می تونه پیدات کنه

[eshpilen]

مطمئن باش بالاخره از یکجا یه لینکی چیزی به سایت شما نشت کرده، وگرنه پیدا نمیشد!
حتی مثلا حساب کن به سایت شما هیچ لینکی از هیچ کجا نباشه، اما همینکه شما از سایت خودت روی لینک یک سایت دیگر کلیک میکنی آدرس سایت شما در هدر referer به اون سایت ارسال میشه، حالا اون سایت اگر این آدرسها رو ذخیره و جایی منتشر کنه (مثلا در refback) اونوقت سایت شما ممکنه توسط موتورهای جستجو پیدا بشه.
البته این که گفتم فقط یک مثال بود. میخواستم بگم از راههایی که ممکنه فکرش رو هم نکنید آدرس سایت شما میتونه نشت کنه.
اگر یه سایت راه بندازید که واقعا هیچ لینکی ازش هیچ جا نباشه و سعی کنید مخفی نگهش دارید، احتمالا موفق میشید! ولی بهرحال مثلا کسان دیگری که دامین شما رو راه اندازی کردن، ازشون هاست تهیه کردید، حتی از طریق سرورهای dns، و غیره، کسی نمیتونه تضمین کنه که به یک طریقی آدرس سایت شما از طریق اونا نشت نکنه.
ضمنا اگر ساییتون دارای IP اختصاصی باشه، از طریق IP هم کسی ممکنه پیداش کنه. مثلا شما curl میزنید به گوگل یا یک سایت دیگه، طبیعتا IP شما توسط اون سایت دیده میشه، و بعد اگر بخوان میتونن از روی IP نام دامین رو هم بدست بیارن (reverse dns lookup).
شایدم دامین شما رو قبلا کس دیگری داشته و در لیست موتورهای جستجو بوده.
خلاصه خیلی راهها هست. مخفی نگه داشتن سایت کار راحت و تضمین شده ای نیست، شاید چون برای چنین چیزی هم ساخته نشد!