الگوریتم Spider

دوستان من یک برنامه ای دارم مینویسم که نیاز هست بتونم سرچی در وب بکنم
بهترین روش چیه؟
اگوریتم جستجوش رو نوشتم مشکلم پاس دادن url ها هستش