Saeed_m_Farid
سه شنبه 02 خرداد 1391, 18:08 عصر
سلام
اتفاقاً تازگی ها دو نفر مشابه همین سوال رو تو پیام خصوصی پرسیدن (نمیدونم چرا از من!)، من هم با کمی تغییرات 3-4 تا نکته رو اینجا میگم:
واسه اینجور کارها از ذخیره و بازیابی فایل Html، مرورگر و اینا استفاده نمی کنن، مستقیماً از خود پروتکل HTTP و متدهای GET/POST و پارامترهای اونا استفاده میشه و از ابزارهایی مثل Fiddler (http://www.fiddler2.com/fiddler2/) یا همین Firebug فایرفاکس کمک گرفته و تشخیص میدن که مثلاً بعد لاگین قراره چه المنت هایی فرستاده بشه یا چه چیزایی فرستاده بشه واسه Source String متد POST و ...
چیزی که شما میخواین بهش میگن bot یا Crawler و ... که حتماً میدونین خیلی سایتها برای جلوگیری از این کارها Captch گذاشتن! اگه سایت (یا سایت های) موردنظر شما همچین چیزی داشته باشن، کارتون به آقام ابالفضل گره میخوره و باید با Image processing و اینا هم درگیر بشین ...
بعد لاگین باید برنامه بره تو اون سایت چکار کنه؟ لاگین یه بخش قضیه هست ولی مهمتر درون سایت WebRequest هایی هست که رد و بدل میشه و کوکی باید تنظیم کنید و الی ماشاا...
میتونید از پکیج های مفیدی مثل Html Agility Pack (http://htmlagilitypack.codeplex.com/) برای Parse کردن و دسته بندی نتیجه ها و اینجور کارها تو دات نت استفاده کنید، چون بسیار زیاد با تگ های html درگیر خواهید شد که واسه هر کدوم یه تابع و ... نوشتن مصیبت عظما میشه!
******************
بگذریم، من یه نمونه کد میذارم مثلاً برای متد GET؛ شما با فراخوانی این تابع هم خروجی رو بصورت string دارین و هم باید هردفعه Cookie های بدست اومده رو به یک CookieContainer اضافه کنید و در مرحله بعد که میتونه مثلاً متد POST باشه استفاده کنید، POST هم عین همینه فقط اولاً کوکی ها رو انتساب میدین بهش و بعدش هم باید المنت هایی که از قسمت قبل (معمولاً hidden هستند، مثل __EVENTTARGET، __VIEWSTATE، __EVENTARGUMENT و تکست باکس نام کاربری و پسورد و ... ) بدست آوردین بهش اضافه کنید.
حالا شما تا یه جاهایی برید جلو من بیشتر راهنمایی میکنم :
/// <summary>
/// Start HttpWebRequest call to parsing web portal and getting elements
/// </summary>
/// <param name="uri">
/// Uri of page that GET request must sent to
/// </param>
/// <returns>
/// Entire contents of the response page.
/// </returns>
public string SendGetRequest(Uri uri)
{
try
{
// Start a request to Uri
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(uri);
request.Method = "GET";
request.KeepAlive = true;
request.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8";
request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; rv:7.0) Gecko/20100101 Firefox/7.0";
request.ContentType = "application/x-www-form-urlencoded";
// Set retrieved Cookies to WebRequest CookieContainer
request.ContentLength = 0;
request.CookieContainer = cookies;
// get the Response
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
foreach (Cookie cookie in response.Cookies)
cookies.Add(cookie);
//StreamReader is wrapped around the ResponseStream, and then read out the data into a string
using (StreamReader readStream = new StreamReader((Stream)response.GetResponseStream()) )
{
// strPageAsText will hold the entire contents of the responsed page.
strPageAsText = readStream.ReadToEnd();
// Close our objects so that the Garbage Man will be happy and have something to pick up :D
response.Close();
readStream.Close();
// Return response html as String
return strPageAsText;
}
}
catch (Exception ex)
{
//LogError(ex.ToString(), (new System.Diagnostics.StackFrame()).GetMethod().Name) ;
throw;
}
}
همونطوری که گفتم cookies یه CookieContainer هست که تو مرحله بعد استفاده میشه ...
private static CookieContainer cookies;
پسر خوب خیلی آسونه :) این از راهنمایی من
اتفاقاً زیاد هم آسون نیست! مونده به سایتش و اینکه دقیقاً میخواین چکار کنید؟ معمولاً وقتی اینحور کارها رو میکنن که بخوان یه روالی رو برای چندین نفر بطور همزمان اتوماتیک بطوری کنن که یکبار سرویس لاگین بشه و بعد درخواست ها رو رسیدگی کنه و ... اونوقت باید از Threadpool استفاده کرد و بجای GetResponse باید BeginGetResponse استفاده کنید و delegate تنظیم کنید و ... که بحثش طولانی میشه و میتونید بعداً همچین کارهایی رو خودتون ادامه بدین (Asynchronous WebRequest (http://www.eggheadcafe.com/articles/20060120.asp))