بات گوگل اطلاعات یک صفحه مانند کلمات، کدها، عکسها و منابعی مانند CSS و جاوااسکریپت را جمع آوری میکند.
اگر لینک یا لینک هایی در صفحات موجود باشد، آنها را در نظر میگیرد. Googlebot از نقشه سایت ها و دیتابیس هایی استفاده می کند که شامل لینک های کشف شده قبلی هستند. این ربات ها از این داده ها برای تعیین مقاصد بعدی خود استفاده می کنند
کلیه دیتای جمع آوری شده را به سرورهای گوگل ارسال میکند
برای اینکه بفهمید ربات های گوگل چه زمان هایی به سایت شما مراجعه می کنند، می بایست فایل های Log سایت خود را بررسی کنید و یا به قسمت Crawl در کنسول جستجوی گوگل مراجعه نمایید.
گوگل لیست آدرس های آی پی ربات های خود را هیچ گاه منتشر نمی کند و همین طور این آی پی ها مدام در حال تغییر هستند. اگر می خواهید ماهیت ربات های گوگل را تایید کنید، می بایست از ابزارهای تبدیل آی پی به نام استفاده کنید. اسپمرها می توانند به راحتی نام user-agent خود را به Googlebot تغییر دهند اما شبیه سازی آی پی به این راحتی نیست.
شما می توانید با استفاده از فایل Robots.txt به ایجاد محدودیت و کنترل دسترسی ربات گوگل به سایت خود بپردازید. دقت داشته باشید که در صورت اشتباه در این کار، ممکن است جلوی دسترسی گوگل به محتوای اصلی سایت را بگیرید. این کار موجب عدم ایندکس محتوای سایت خواهد شد. همچنین راه های دیگری نیز برای جلوگیری از ایندکس شدن بعضی از صفحات سایت وجود دارد. در بخش آموزش سئو وب سایت هانت می‌توانید مقالات بیتشری در مورد این حوزه مطالعه کنید.
