google search result

[j_naroogha@yahoo.com]

سلام
دوستان هدف گرفتن نتایج جستجو از گوگل هست.
یعنی اینکه یک یا چند کلمه رو در گوگل سرچ کنم و 100 نتیجه اول رو ذخیره کنم
یه راه حل بنظرم رسید که اینطوری استفاده کنم
https://www.google.com/search?q=test

که test همون کلمه ای هست که میخام سرچ کنم اما این فقط 10 نتیجه رو میده.....
شنیدم خود گوگل یه api داره اما ظاهرا تحریمیم....
راه حل بهتری رو سراغ ندارین
ممنون میشم کمک کنین.

[arta.nasiri]

از همون api استفاده کنید. واسه دور زدن تحریم میتونید یک سرور یا vps خارجی بگیرید و نتایج جستجو رو از اون دریافت کنید.

[Mohammadsgh]

بله,API داره.که شما میتونید از api اون استفاده کنید

[-سیّد-]

در صورتی که به هر دلیلی نخواستید از api گوگل استفاده کنید، می‌تونید از طریق پارامتر start به سراغ صفحه‌ی بعدی برید:
https://www.google.com/search?q=test&start=10

فقط توجه کنید که گوگل در صورتی که بیش از یه تعدادی درخواست از یه IP براش بفرستید، اون IP رو برای مدتی بلاک می‌کنه (در واقع بهش captcha نشون می‌ده که تقریباً نمی‌تونید به صورت ماشینی حلش کنید و باید آدم بشینه تایپش کنه!).
بنابراین باید آزمایش کنید ببینید با چه rate ای اگه بهش درخواست بدید ناراحت نمی‌شه!

البته همونطور که دوستان اشاره کردن راه آدمونه(!)اش استفاده از api هست! :)

[سوداگر]

با پارامتر num=100 میتونید 100 نتیجه رو بگیرید:
https://www.google.com/search?num=100&q=test

[j_naroogha@yahoo.com]

ممنون از همه دوستان
کسی document این api رو داره؟

[j_naroogha@yahoo.com]

فقط توجه کنید که گوگل در صورتی که بیش از یه تعدادی درخواست از یه IP براش بفرستید، اون IP رو برای مدتی بلاک می‌کنه (در واقع بهش captcha نشون می‌ده که تقریباً نمی‌تونید به صورت ماشینی حلش کنید و باید آدم بشینه تایپش کنه!).
بنابراین باید آزمایش کنید ببینید با چه rate ای اگه بهش درخواست بدید ناراحت نمی‌شه!

البته همونطور که دوستان اشاره کردن راه آدمونه(!)اش استفاده از api هست! :)
دوستان کسی نمیدونه تا چه rate گوگل captcha نشون نمیده؟
من هر ساعت باید حدود 100-200 سرچ انجام بدم.....البته همه جستجو ها پشت سر هم هستن..... بنظرتون کپچا میخاد؟

[Mousavmousab]

به نظرم فاصله زمانی بین جستجو ها باید رعایت بشه

[j_naroogha@yahoo.com]

1-2 ثانیه sleep کافیه بنظرتون؟

[j_naroogha@yahoo.com]

دوستان کسی میتونه api و document ش رو برام بگیره؟
من خودم ف ل ت ر ش ک ن ندارم
انشالله از خجالتش در میام توی پروژه هاش.

[j_naroogha@yahoo.com]

دوستان کسی نمیتونه؟

[m.esmaeilzadeh]

اگر api داره استفاده کن , ولی من یادمه یه زمانی گوگل اجازه نمیداد هیچ رقمه سورس رو بگیری و access denied میداد !!!
با فیلتر شکن google code باز میشه فکر کنم ...

[-سیّد-]

با پارامتر num=100 میتونید 100 نتیجه رو بگیرید:
https://www.google.com/search?num=100&q=test
چه عالی! یه زمانی فکر کنم این پارامتر رو گوگل برداشته بود. حالا که دوباره گذاشته خیلی خوب می‌شه! :)
ممنون که اشاره کردید.


ممنون از همه دوستان
کسی document این api رو داره؟
شما اگه ف ی ل ت ر شکن یا VPN ندارید و نمی‌تونید به بخش documentation اش دسترسی پیدا کنید، چطوری می‌خواید از خود API استفاده کنید؟


دوستان کسی نمیدونه تا چه rate گوگل captcha نشون نمیده؟
من هر ساعت باید حدود 100-200 سرچ انجام بدم.....البته همه جستجو ها پشت سر هم هستن..... بنظرتون کپچا میخاد؟
من یادم نیست rate قابل قبول گوگل چقدر بود. یه تست بکنید مشخص می‌شه!
فقط هم بحث sleep کردن بین جستجوها نیست، توی یه فاصله‌ی زمانی مشخص (مثلاً یه ساعت) نمی‌تونید بیش از یه حدی درخواست به گوگل بدید.

[j_naroogha@yahoo.com]

سید جان دوستان گفتن که باید vps بگیرم خب.
جون داداش spam نفرستین..... هرچند اینم اسپمه و بعدش خودم پکش میکنم.

[-سیّد-]

سید جان دوستان گفتن که باید vps بگیرم خب.
جون داداش spam نفرستین..... هرچند اینم اسپمه و بعدش خودم پکش میکنم.
خوب اگه VPS بگیرید که از طریق اون می‌تونید به document اش هم دسترسی پیدا کنید.
این آدرس خودش:
https://developers.google.com/web-search/docs
با توجه به این که api قدیمی گوگل دیگه deprecate شده و فکر نکنم دیگه قابل استفاده باشه، باید از Google custom search استفاده کنید:
https://cse.google.com/cse
اگه می‌خواین همه‌ی وب رو به جای یه سایت خاص بگردید، به این صفحه مراجعه کنید:
http://stackoverflow.com/questions/4082966/what-are-the-alternatives-now-that-the-google-web-search-api-has-been-deprecated