狠狠色丁香婷婷综合尤物/久久精品综合一区二区三区/中国有色金属学报/国产日韩欧美在线观看 - 国产一区二区三区四区五区tv

LOGO OA教程 ERP教程 模切知識交流 PMS教程 CRM教程 開發文檔 其他文檔  
 
網站管理員

C# 比較兩文本相似度

admin
2023年3月22日 16:41 本文熱度 859

這個比較文本用到的主要是余弦定理比較文本相似度,具體原理右轉某度,主要適用場景是在考試系統中的簡答題概述,可根據權重自動打分,感覺實用性蠻廣的。

先說下思路:

  1. 文本分詞,中文于英文不同,規范的英文每個都有空格自動分詞,中文則是連成長串,我們只有一一比對每個詞出現的頻率做簡單的比較,在這里使用到了SCWS的一個分詞api接口http://www.ftphp.com/scws/api.php(僅支持POST,因為要模擬Http請求,所以請求時間也是根據具體環境而定,所以可以自己手寫一些字典,本地分詞要來的快)。但是用此接口分詞過程中,標點符號不會被去掉,所以需要自己手動寫方法去掉標點。

  2. 獲取兩個文本的去重復并集

  3. 比較每個詞出現的頻率

  4. 根據余弦定理計算權重

下面是具體的代碼段(請求是在網上找的,原鏈接找不到了。。)

  1. class Program

  2.    {

  3.        static void Main(string[] args)

  4.        {

  5.            Console.Write(Sim("床前明月光,疑是地上霜", "床前明月光,疑是地上霜"));

  6.        }

  7.        public static double Sim(string txt1, string txt2)

  8.        {

  9.            List<string> sl1 = Segment(txt1);

  10.            List<string> sl2 = Segment(txt2);

  11.            //去重

  12.            List<string> sl = sl1.union(sl2).ToList<string>();

  13.            //獲取重復次數

  14.            List<int> arrA = new List<int>();

  15.            List<int> arrB = new List<int>();

  16.  

  17.            foreach (var str in sl)

  18.            {

  19.                arrA.Add(sl1.where(x => x == str).Count());

  20.                arrB.Add(sl2.where(x => x == str).Count());

  21.            }

  22.            //計算商

  23.            double num = 0;

  24.            //被除數

  25.            double numA = 0;

  26.            double numB = 0;

  27.            for (int i = 0; i < sl.Count; i++)

  28.            {

  29.                num += arrA[i] * arrB[i];

  30.                numA += Math.Pow(arrA[i], 2);

  31.                numB += Math.Pow(arrB[i], 2);

  32.            }

  33.            double cos = num / (Math.Sqrt(numA)* Math.Sqrt(numB));

  34.            return cos;

  35.        }

  36.        public static List<string> Segment(string str)

  37.        {

  38.            List<string> sl = new List<string>();

  39.            try

  40.            {

  41.                string s = string.Empty;

  42.                System.Net.CookieContainer cookieContainer = new System.Net.CookieContainer();

  43.                // 將提交的字符串數據轉換成字節數組

  44.                byte[] postData = System.Text.Encoding.ASCII.GetBytes("data=" + System.Web.HttpUtility.UrlEncode(str) + "&respond=json&charset=utf8&ignore=yes&duality=no&traditional=no&multi=0");

  45.  

  46.                // 設置提交的相關參數

  47.                System.Net.HttpWebRequest request = System.Net.WebRequest.create("http://www.ftphp.com/scws/api.php") as System.Net.HttpWebRequest;

  48.                request.Method = "POST";

  49.                request.KeepAlive = false;

  50.                request.ContentType = "application/x-www-form-urlencoded";

  51.                request.CookieContainer = cookieContainer;

  52.                request.ContentLength = postData.Length;

  53.  

  54.                // 提交請求數據

  55.                System.IO.Stream outputStream = request.GetRequestStream();

  56.                outputStream.Write(postData, 0, postData.Length);

  57.                outputStream.Close();

  58.  

  59.                // 接收返回的頁面

  60.                System.Net.HttpWebResponse response = request.GetResponse() as System.Net.HttpWebResponse;

  61.                System.IO.Stream responseStream = response.GetResponseStream();

  62.                System.IO.StreamReader reader = new System.IO.StreamReader(responseStream, System.Text.Encoding.GetEncoding("utf-8"));

  63.                string val = reader.ReadToEnd();

  64.  

  65.                Newtonsoft.Json.Linq.JObject results = Newtonsoft.Json.Linq.JObject.Parse(val);

  66.                foreach (var item in results["words"].Children())

  67.                {

  68.                    Newtonsoft.Json.Linq.JObject word = Newtonsoft.Json.Linq.JObject.Parse(item.ToString());

  69.                    var sss = word["word"].ToString();

  70.                    //判斷是否為標點符

  71.                    bool offom = false;

  72.                    foreach (char t in sss)

  73.                    {

  74.                        if (t >= 0x4e00 && t <= 0x9fbb)

  75.                        {

  76.                            offom = true;

  77.                        }

  78.                        else

  79.                        {

  80.                            offom = false;

  81.                        }

  82.                    }

  83.                    if (offom)

  84.                    {

  85.                        sl.Add(sss);

  86.                    }

  87.                }

  88.            }

  89.            catch

  90.            {

  91.            }

  92.  

  93.            return sl;

  94.        }

  95.    }

  以上 感覺很多地方都可以優化,以后想到更好的再重新來一遍


該文章在 2023/3/22 16:41:37 編輯過
關鍵字查詢
相關文章
正在查詢...
點晴ERP是一款針對中小制造業的專業生產管理軟件系統,系統成熟度和易用性得到了國內大量中小企業的青睞。
點晴PMS碼頭管理系統主要針對港口碼頭集裝箱與散貨日常運作、調度、堆場、車隊、財務費用、相關報表等業務管理,結合碼頭的業務特點,圍繞調度、堆場作業而開發的。集技術的先進性、管理的有效性于一體,是物流碼頭及其他港口類企業的高效ERP管理信息系統。
點晴WMS倉儲管理系統提供了貨物產品管理,銷售管理,采購管理,倉儲管理,倉庫管理,保質期管理,貨位管理,庫位管理,生產管理,WMS管理系統,標簽打印,條形碼,二維碼管理,批號管理軟件。
點晴免費OA是一款軟件和通用服務都免費,不限功能、不限時間、不限用戶的免費OA協同辦公管理系統。
Copyright 2010-2025 ClickSun All Rights Reserved