View Full Version : google search result
j_naroogha@yahoo.com
یک شنبه 16 فروردین 1394, 17:40 عصر
سلام
دوستان هدف گرفتن نتایج جستجو از گوگل هست.
یعنی اینکه یک یا چند کلمه رو در گوگل سرچ کنم و 100 نتیجه اول رو ذخیره کنم
یه راه حل بنظرم رسید که اینطوری استفاده کنم
https://www.google.com/search?q=test
که test همون کلمه ای هست که میخام سرچ کنم اما این فقط 10 نتیجه رو میده.....
شنیدم خود گوگل یه api داره اما ظاهرا تحریمیم....
راه حل بهتری رو سراغ ندارین
ممنون میشم کمک کنین.
arta.nasiri
یک شنبه 16 فروردین 1394, 19:57 عصر
از همون api استفاده کنید. واسه دور زدن تحریم میتونید یک سرور یا vps خارجی بگیرید و نتایج جستجو رو از اون دریافت کنید.
Mohammadsgh
یک شنبه 16 فروردین 1394, 19:59 عصر
بله,API داره.که شما میتونید از api اون استفاده کنید
-سیّد-
دوشنبه 17 فروردین 1394, 00:02 صبح
در صورتی که به هر دلیلی نخواستید از api گوگل استفاده کنید، میتونید از طریق پارامتر start به سراغ صفحهی بعدی برید:
https://www.google.com/search?q=test&start=10
فقط توجه کنید که گوگل در صورتی که بیش از یه تعدادی درخواست از یه IP براش بفرستید، اون IP رو برای مدتی بلاک میکنه (در واقع بهش captcha نشون میده که تقریباً نمیتونید به صورت ماشینی حلش کنید و باید آدم بشینه تایپش کنه!).
بنابراین باید آزمایش کنید ببینید با چه rate ای اگه بهش درخواست بدید ناراحت نمیشه!
البته همونطور که دوستان اشاره کردن راه آدمونه(!)اش استفاده از api هست! :)
سوداگر
دوشنبه 17 فروردین 1394, 02:32 صبح
با پارامتر num=100 میتونید 100 نتیجه رو بگیرید:
https://www.google.com/search?num=100&q=test
j_naroogha@yahoo.com
دوشنبه 17 فروردین 1394, 10:25 صبح
ممنون از همه دوستان
کسی document این api رو داره؟
j_naroogha@yahoo.com
دوشنبه 17 فروردین 1394, 10:30 صبح
فقط توجه کنید که گوگل در صورتی که بیش از یه تعدادی درخواست از یه IP براش بفرستید، اون IP رو برای مدتی بلاک میکنه (در واقع بهش captcha نشون میده که تقریباً نمیتونید به صورت ماشینی حلش کنید و باید آدم بشینه تایپش کنه!).
بنابراین باید آزمایش کنید ببینید با چه rate ای اگه بهش درخواست بدید ناراحت نمیشه!
البته همونطور که دوستان اشاره کردن راه آدمونه(!)اش استفاده از api هست! :)
دوستان کسی نمیدونه تا چه rate گوگل captcha نشون نمیده؟
من هر ساعت باید حدود 100-200 سرچ انجام بدم.....البته همه جستجو ها پشت سر هم هستن..... بنظرتون کپچا میخاد؟
Mousavmousab
دوشنبه 17 فروردین 1394, 11:56 صبح
به نظرم فاصله زمانی بین جستجو ها باید رعایت بشه
j_naroogha@yahoo.com
دوشنبه 17 فروردین 1394, 11:58 صبح
1-2 ثانیه sleep کافیه بنظرتون؟
j_naroogha@yahoo.com
دوشنبه 17 فروردین 1394, 12:50 عصر
دوستان کسی میتونه api و document ش رو برام بگیره؟
من خودم ف ل ت ر ش ک ن ندارم
انشالله از خجالتش در میام توی پروژه هاش.
j_naroogha@yahoo.com
دوشنبه 17 فروردین 1394, 15:46 عصر
دوستان کسی نمیتونه؟
m.esmaeilzadeh
دوشنبه 17 فروردین 1394, 16:26 عصر
اگر api داره استفاده کن , ولی من یادمه یه زمانی گوگل اجازه نمیداد هیچ رقمه سورس رو بگیری و access denied میداد !!!
با فیلتر شکن google code باز میشه فکر کنم ...
-سیّد-
سه شنبه 18 فروردین 1394, 10:55 صبح
با پارامتر num=100 میتونید 100 نتیجه رو بگیرید:
https://www.google.com/search?num=100&q=test
چه عالی! یه زمانی فکر کنم این پارامتر رو گوگل برداشته بود. حالا که دوباره گذاشته خیلی خوب میشه! :)
ممنون که اشاره کردید.
ممنون از همه دوستان
کسی document این api رو داره؟
شما اگه ف ی ل ت ر شکن یا VPN ندارید و نمیتونید به بخش documentation اش دسترسی پیدا کنید، چطوری میخواید از خود API استفاده کنید؟
دوستان کسی نمیدونه تا چه rate گوگل captcha نشون نمیده؟
من هر ساعت باید حدود 100-200 سرچ انجام بدم.....البته همه جستجو ها پشت سر هم هستن..... بنظرتون کپچا میخاد؟
من یادم نیست rate قابل قبول گوگل چقدر بود. یه تست بکنید مشخص میشه!
فقط هم بحث sleep کردن بین جستجوها نیست، توی یه فاصلهی زمانی مشخص (مثلاً یه ساعت) نمیتونید بیش از یه حدی درخواست به گوگل بدید.
j_naroogha@yahoo.com
سه شنبه 18 فروردین 1394, 11:09 صبح
سید جان دوستان گفتن که باید vps بگیرم خب.
جون داداش spam نفرستین..... هرچند اینم اسپمه و بعدش خودم پکش میکنم.
-سیّد-
سه شنبه 18 فروردین 1394, 11:37 صبح
سید جان دوستان گفتن که باید vps بگیرم خب.
جون داداش spam نفرستین..... هرچند اینم اسپمه و بعدش خودم پکش میکنم.
خوب اگه VPS بگیرید که از طریق اون میتونید به document اش هم دسترسی پیدا کنید.
این آدرس خودش:
https://developers.google.com/web-search/docs
با توجه به این که api قدیمی گوگل دیگه deprecate شده و فکر نکنم دیگه قابل استفاده باشه، باید از Google custom search استفاده کنید:
https://cse.google.com/cse
اگه میخواین همهی وب رو به جای یه سایت خاص بگردید، به این صفحه مراجعه کنید:
http://stackoverflow.com/questions/4082966/what-are-the-alternatives-now-that-the-google-web-search-api-has-been-deprecated
vBulletin® v4.2.5, Copyright ©2000-1403, Jelsoft Enterprises Ltd.