狠狠色丁香婷婷综合尤物/久久精品综合一区二区三区/中国有色金属学报/国产日韩欧美在线观看 - 国产一区二区三区四区五区tv

LOGO OA教程 ERP教程 模切知識交流 PMS教程 CRM教程 開發文檔 其他文檔  
 
網站管理員

C#網頁采集數據的幾種方式(WebClient、WebBrowser和HttpWebRequest/HttpWebResponse)
admin
2017年2月16日 16:25 本文熱度 6516

獲取網頁數據有很多種方式。在這里主要講述通過WebClient、WebBrowser和HttpWebRequest/HttpWebResponse三種方式獲取網頁內容。

這里獲取的是包括網頁的所有信息。如果單純需要某些數據內容。可以自己構造函數甄別摳除出來！一般的做法是根據源碼的格式，用正則來過濾出你需要的內容部分。

一、通過WebClient獲取網頁內容

這是一種很簡單的獲取方式，當然，其它的獲取方法也很簡單。在這里首先要說明的是，如果為了實際項目的效率考慮，需要考慮在函數中分配一個內存區域。大概寫法如下

[csharp] view plain copy
 print?
  1. //MemoryStream是一個支持儲存區為內存的流。  
  2.  byte[] buffer = new byte[1024];  
  3.  using (MemoryStream memory = new MemoryStream())  
  4.     {  
  5.     int index = 1, sum = 0;  
  6.     while (index * sum < 100 * 1024)  
  7.     {  
  8.        index = reader.Read(buffer, 0, 1024);  
  9.        if (index > 0)  
  10.        {  
  11.            memory.Write(buffer, 0, index);  
  12.             sum += index;  
  13.        }  
  14.     }  
  15.     //網頁通常使用utf-8或gb2412進行編碼  
  16.     Encoding.GetEncoding("gb2312").GetString(memory.ToArray());  
  17.     if (string.IsNullOrEmpty(html))  
  18.     {  
  19.         return html;  
  20.     }  
  21.     else  
  22.     {  
  23.         Regex re = new Regex(@"charset=(? charset[/s/S]*?)[ |'']");  
  24.         Match m = re.Match(html.ToLower());  
  25.         encoding = m.Groups[charset].ToString();  
  26.     }  
  27.     if (string.IsNullOrEmpty(encoding) || string.Equals(encoding.ToLower(), "gb2312"))  
  28.     {  
  29.        return html;  
  30.     }  
  31. }  
好了，現在進入正題，WebClient獲取網頁數據的代碼如下
[csharp] view plain copy
 print?
  1. //using System.IO;  
  2. try  
  3. {  
  4.     WebClient webClient = new WebClient();  
  5.     webClient.Credentials = CredentialCache.DefaultCredentials;//獲取或設置用于向Internet資源的請求進行身份驗證的網絡憑據  
  6.     Byte[] pageData = webClient.DownloadData("http://www.360doc.com/content/11/0427/03/1947337_112596569.shtml");  
  7.     //string pageHtml = Encoding.Default.GetString(pageData);  //如果獲取網站頁面采用的是GB2312，則使用這句         
  8.     string pageHtml = Encoding.UTF8.GetString(pageData); //如果獲取網站頁面采用的是UTF-8，則使用這句  
  9.     using (StreamWriter sw = new StreamWriter("e:\\ouput.txt"))//將獲取的內容寫入文本  
  10.     {  
  11.         htm = sw.ToString();//測試StreamWriter流的輸出狀態，非必須  
  12.         sw.Write(pageHtml);  
  13.     }  
  14. }  
  15. catch (WebException webEx)  
  16. {  
  17.     Console.W  
  18. }  

二、通過WebBrowser控件獲取網頁內容

相對來說，這是一種最簡單的獲取方式。拖WebBrowser控件進去，然后匹配下面這段代碼

[csharp] view plain copy
 print?
  1. WebBrowser web = new WebBrowser();  
  2. web.Navigate("http://www.163.com");  
  3. web.DocumentCompleted += new WebBrowserDocumentCompletedEventHandler(web_DocumentCompleted);  
  4. void web_DocumentCompleted(object sender, WebBrowserDocumentCompletedEventArgs e)  
  5. {  
  6.      WebBrowser web = (WebBrowser)sender;  
  7.      HtmlElementCollection ElementCollection = web.Document.GetElementsByTagName("Table");  
  8.      foreach (HtmlElement item in ElementCollection)  
  9.      {  
  10.          File.AppendAllText("Kaijiang_xj.txt", item.InnerText);  
  11.      }  
  12. }  

三、使用HttpWebRequest/HttpWebResponse獲取網頁內容

這是一種比較通用的獲取方式。

[csharp] view plain copy
 print?
  1. public void GetHtml()  
  2.      {  
  3.          var url = "http://www.360doc.com/content/11/0427/03/1947337_112596569.shtml";  
  4.          string strBuff = "";//定義文本字符串，用來保存下載的html  
  5.          int byteRead = 0;   
  6.            
  7.          HttpWebRequest webRequest = (HttpWebRequest)WebRequest.Create(url);  
  8.          HttpWebResponse webResponse = (HttpWebResponse)webRequest.GetResponse();  
  9.          //若成功取得網頁的內容，則以System.IO.Stream形式返回，若失敗則產生ProtoclViolationException錯 誤。在此正確的做法應將以下的代碼放到一個try塊中處理。這里簡單處理   
  10.          Stream reader = webResponse.GetResponseStream();  
  11.          ///返回的內容是Stream形式的，所以可以利用StreamReader類獲取GetResponseStream的內容，并以StreamReader類的Read方法依次讀取網頁源程序代碼每一行的內容，直至行尾（讀取的編碼格式：UTF8）  
  12.          StreamReader respStreamReader = new StreamReader(reader,Encoding.UTF8);  
  13.   
  14.          ///分段，分批次獲取網頁源碼  
  15.          char[] cbuffer = new char[1024];  
  16.          byteRead = respStreamReader.Read(cbuffer,0,256);  
  17.   
  18.          while (byteRead != 0)  
  19.          {  
  20.              string strResp = new string(char,0,byteRead);  
  21.              strBuff = strBuff + strResp;  
  22.              byteRead = respStreamReader.Read(cbuffer,0,256);  
  23.          }  
  24.          using (StreamWriter sw = new StreamWriter("e:\\ouput.txt"))//將獲取的內容寫入文本  
  25.          {  
  26.              htm = sw.ToString();//測試StreamWriter流的輸出狀態，非必須  
  27.              sw.Write(strBuff);  
  28.          }  
  29.      }  


該文章在 2017/2/16 16:25:49 編輯過
關鍵字查詢
相關文章
正在查詢...
點晴ERP是一款針對中小制造業的專業生產管理軟件系統,系統成熟度和易用性得到了國內大量中小企業的青睞。
點晴PMS碼頭管理系統主要針對港口碼頭集裝箱與散貨日常運作、調度、堆場、車隊、財務費用、相關報表等業務管理，結合碼頭的業務特點，圍繞調度、堆場作業而開發的。集技術的先進性、管理的有效性于一體，是物流碼頭及其他港口類企業的高效ERP管理信息系統。
點晴WMS倉儲管理系統提供了貨物產品管理,銷售管理,采購管理,倉儲管理,倉庫管理,保質期管理,貨位管理,庫位管理,生產管理,WMS管理系統,標簽打印,條形碼,二維碼管理,批號管理軟件。
點晴免費OA是一款軟件和通用服務都免費，不限功能、不限時間、不限用戶的免費OA協同辦公管理系統。
Copyright 2010-2025 ClickSun All Rights Reserved