arefenayat
دوشنبه 21 اردیبهشت 1394, 13:14 عصر
سلام
این لینک
http://www.yougetsignal.com/tools/web-sites-on-web-server/
بهش اسم سایت یا ای پیشو میدید و بهتون سایت هایی که روی همون سرور هستند رو میده
هرچی گشتم هیچ روشی برای این کار پیدا نکردم(منظورم کد یا کامندی توی cmd یا bash یا ... هست) ، و البته خود این سایت نوشته که یه دیتابیس داره که 100 میلیون رکورد از سایت ها توش هست ،
سوال من اینجاست همچین دیتابیسی رو چطوری جمع کرده ؟ یعنی نشسته وب رو crawl کرده و یکی یکی آی پی سایتا رو به دست آورده و ریخته تو دیتابیس ؟
آدرس این همه سایتو چطوری به دست آورده ؟
این لینک
http://www.yougetsignal.com/tools/web-sites-on-web-server/
بهش اسم سایت یا ای پیشو میدید و بهتون سایت هایی که روی همون سرور هستند رو میده
هرچی گشتم هیچ روشی برای این کار پیدا نکردم(منظورم کد یا کامندی توی cmd یا bash یا ... هست) ، و البته خود این سایت نوشته که یه دیتابیس داره که 100 میلیون رکورد از سایت ها توش هست ،
سوال من اینجاست همچین دیتابیسی رو چطوری جمع کرده ؟ یعنی نشسته وب رو crawl کرده و یکی یکی آی پی سایتا رو به دست آورده و ریخته تو دیتابیس ؟
آدرس این همه سایتو چطوری به دست آورده ؟