狠狠色丁香婷婷综合尤物/久久精品综合一区二区三区/中国有色金属学报/国产日韩欧美在线观看 - 国产一区二区三区四区五区tv

LOGO OA教程 ERP教程 模切知識交流 PMS教程 CRM教程 開發文檔 其他文檔  
 
網站管理員

Asp.net/C#網頁數據采集

admin
2021年1月29日 18:17 本文熱度 3058

    早在以前就聽說過數據采集這個神奇的功能,當時對這個是多么的奢望啊。 ~00~,后來想要給自己開個采集的網站,就想到了整個電影的采集站。

    在好奇的動力下,開始瘋狂的查閱以及學習關于網頁采集,數據采集等相關信息。不過網上大部都是asp的和php的,關于.net的很少。無奈之下只要硬著頭皮學習。經過幾天的努力,最終還是給我研究出來了。心里還是挺高興的襖。其實網頁采集也沒有用到什么高深的技術,都是些普普通通的技術,只不過效果比較神奇,就會讓人感覺到整個都比較深奧,如果你想學習.net的數據采集,以及思路,那么請看完。

    數據采集大體可以分為兩部曲:

一部曲:

          因為要采集別人網頁上的內容,所有我們先要得到要采集網頁上的html代碼,獲取html代碼還是比較簡單。利用WebClient的DownloadData(url)得帶byte數組,然后在轉換成string字符串。

          具體代碼如下:

        /// <summary>

        /// 獲取網頁源代碼

        /// </summary>

        /// <param name="url">URL路徑</param>

        /// <param name="encoding">編碼方式</param>

        public string GetHTML(string url, string encoding)

        {

            WebClient web = new WebClient();

            byte[] buffer = web.DownloadData(url);

            return Encoding.GetEncoding(encoding).GetString(buffer);

        }

二部曲:

        現在我們得到了目標網頁的html代碼,那么我們就開始時得扣取我們想要的數據。扣取數據無疑就要用到強大的正則表達式了。利用正則表達式的匹配來獲取我們要的內容,這里可以過濾掉制定的html代碼,剩下的就是內容了。

具體代碼如下:

        Html html = new Html();

        //得到指定頁面的html代碼,第一個參數為url(貌似都知道),第二個是目標網頁的編碼集

        string htmlCode = html.GetHTML("http://gvod.tom59.cn/List.asp?ClassId=3", "gb2312");

        //正則表達式

        Regex regexarticles = new Regex("<td\\s+height=\"\\d+\"><a\\s+href=\".+DataId=(?<id>\\d+)\"\\s+target=\"_blank\">(?<title>.+)</a>.*</td>");

        //所有匹配表達式的內容

        MatchCollection marticles = regexarticles.Matches(htmlCode);

        ///遍歷匹配內容

        foreach (Match m in marticles)

        {

             Console.Write("標題:" + m.Groups["title"].Value+"\n");

             Console.Write("id:" + m.Groups["id"].Value + "\n");

             Console.Write("\n");

}

以上就是采集數據的核心代碼,關于正則表達式我在這里就不詳細講解了(其實正則表達式我也是菜鳥哈)。


該文章在 2021/1/29 18:17:01 編輯過
關鍵字查詢
相關文章
正在查詢...
點晴ERP是一款針對中小制造業的專業生產管理軟件系統,系統成熟度和易用性得到了國內大量中小企業的青睞。
點晴PMS碼頭管理系統主要針對港口碼頭集裝箱與散貨日常運作、調度、堆場、車隊、財務費用、相關報表等業務管理,結合碼頭的業務特點,圍繞調度、堆場作業而開發的。集技術的先進性、管理的有效性于一體,是物流碼頭及其他港口類企業的高效ERP管理信息系統。
點晴WMS倉儲管理系統提供了貨物產品管理,銷售管理,采購管理,倉儲管理,倉庫管理,保質期管理,貨位管理,庫位管理,生產管理,WMS管理系統,標簽打印,條形碼,二維碼管理,批號管理軟件。
點晴免費OA是一款軟件和通用服務都免費,不限功能、不限時間、不限用戶的免費OA協同辦公管理系統。
Copyright 2010-2025 ClickSun All Rights Reserved