狠狠色丁香婷婷综合尤物/久久精品综合一区二区三区/中国有色金属学报/国产日韩欧美在线观看 - 国产一区二区三区四区五区tv

LOGO OA教程 ERP教程 模切知識(shí)交流 PMS教程 CRM教程 開發(fā)文檔 其他文檔  
 
網(wǎng)站管理員

C#.NET操作Excel高效低內(nèi)存的開源框架 - MiniExcel

admin
2023年9月7日 17:16 本文熱度 1453

.Net平臺(tái)上對(duì)Excel進(jìn)行操作主要有兩種方式。第一種,把Excel文件看成一個(gè)數(shù)據(jù)庫,通過OleDb的方式進(jìn)行讀取與操作;第二種,調(diào)用Excel的COM組件。兩種方式各有特點(diǎn)。

今天給大家介紹第三種方式:插件方式,目前主流框架大多需要將數(shù)據(jù)全載入到內(nèi)存方便操作,但這會(huì)導(dǎo)致內(nèi)存消耗問題,MiniExcel 嘗試以 Stream 角度寫底層算法邏輯,能讓原本1000多MB占用降低到幾MB,避免內(nèi)存不夠情況。

MiniExcel簡(jiǎn)單、高效避免OOM的.NET處理Excel查、寫、填充數(shù)據(jù)工具。

特點(diǎn)

  • 低內(nèi)存耗用,避免OOM、頻繁 Full GC 情況

  • 支持即時(shí)操作每行數(shù)據(jù)

  • 兼具搭配 LINQ 延遲查詢特性,能辦到低消耗、快速分頁等復(fù)雜查詢

  • 輕量,不需要安裝 Microsoft Office、COM+,DLL小于150KB

  • 簡(jiǎn)便操作的 API 風(fēng)格

性能比較、測(cè)試

導(dǎo)入、查詢 Excel 比較

邏輯 : 以 Test1,000,000x10.xlsx 做基準(zhǔn)與主流框架做性能測(cè)試,總共 1,000,000 行 * 10 列筆 "HelloWorld",文件大小 23 MB。

導(dǎo)出、創(chuàng)建 Excel 比較

邏輯 : 創(chuàng)建1千萬筆 "HelloWorld"


使用示例

1、讀/導(dǎo)入 Excel

1.1 Query 查詢 Excel 返回強(qiáng)型別 IEnumerable 數(shù)據(jù)

1.    public class UserAccount

2.    {

3.    public Guid ID { getset; }

4.    public string Name { getset; }

5.    public DateTime BoD { getset; }

6.    public int Age { getset; }

7.    public bool VIP { getset; }

8.    public decimal Points { getset; }

9.    }

10.  var rows = MiniExcel.Query<UserAccount>(path);

11.  // or

12.  using (var stream = File.OpenRead(path))

13.  var rows = stream.Query<UserAccount>();


1.2 Query 查詢支援延遲加載(Deferred execution),能配合LINQ First/Take/Skip辦到低消耗、高效率復(fù)雜查詢

1. var row = MiniExcel.Query(path).First();

2. Assert.Equal("HelloWorld", row.A);

3. // or

4. using (var stream = File.OpenRead(path))

5. {

6. var row = stream.Query().First();

7. Assert.Equal("HelloWorld", row.A);

8. }

與其他框架效率比較


1.3 讀取大文件硬盤緩存 (Disk-Base Cache - SharedString)

概念 : MiniExcel 當(dāng)判斷文件 SharedString 大小超過 5MB,預(yù)設(shè)會(huì)使用本地緩存,如 10x100000.xlsx(一百萬筆數(shù)據(jù)),讀取不開啟本地緩存需要最高內(nèi)存使用約195MB,開啟后降為65MB。但要特別注意,此優(yōu)化是以時(shí)間換取內(nèi)存減少,所以讀取效率會(huì)變慢,此例子讀取時(shí)間從 7.4 秒提高到 27.2 秒,假如不需要能用以下代碼關(guān)閉硬盤緩存

1. var config = new OpenXmlConfiguration { EnableSharedStringCache = false };

2. MiniExcel.Query(path,configuration: config)

也能使用 SharedStringCacheSize 調(diào)整 sharedString 文件大小超過指定大小才做硬盤緩存

1. var config = new OpenXmlConfiguration { SharedStringCacheSize=500*1024*1024 };

2. MiniExcel.Query(path, configuration: config);


2、寫/導(dǎo)出 Excel

  1. 必須是非abstract 類別有公開無參數(shù)構(gòu)造函數(shù)

  2. MiniExcel SaveAs 支援 IEnumerable參數(shù)延遲查詢,除非必要請(qǐng)不要使用 ToList 等方法讀取全部數(shù)據(jù)到內(nèi)存

2.1 支持集合<匿名類別>或是<強(qiáng)型別>

var path = Path.Combine(Path.GetTempPath(), $"{Guid.NewGuid()}.xlsx");

MiniExcel.SaveAs(path, new[] {

    new { Column1 = "MiniExcel", Column2 = 1 },

    new { Column1 = "Github", Column2 = 2}

});

2.2 IDataReader

  • 推薦使用,可以避免載入全部數(shù)據(jù)到內(nèi)存



    推薦 DataReader 多表格導(dǎo)出方式(建議使用 Dapper executeReader )


·         using (var cnn = Connection)

·         {

·         cnn.Open();

·         var sheets = new Dictionary<string,object>();

·         sheets.Add("sheet1", cnn.executeReader("select 1 id"));

·         sheets.Add("sheet2", cnn.executeReader("select 2 id"));

·         MiniExcel.SaveAs("Demo.xlsx", sheets);

·         }

3、模板填充 Excel

  • 宣告方式類似 Vue 模板 {{變量名稱}}, 或是集合渲染 {{集合名稱.欄位名稱}}

  • 集合渲染支持 IEnumerable/DataTable/DapperRow


3.1 基本填充

1.  // 1. By POCO

2.  var value = new

3.  {

4.      Name = "Jack",

5.      createDate = new DateTime(2021, 01, 01),

6.      VIP = true,

7.      Points = 123

8.  };

9.  MiniExcel.SaveAsByTemplate(path, templatePath, value);

1.  // 2. By Dictionary

2.  var value = new Dictionary<string, object>()

3.  {

4.      ["Name"] = "Jack",

5.      ["createDate"] = new DateTime(2021, 01, 01),

6.      ["VIP"] = true,

7.      ["Points"] = 123

8.  };

9.  MiniExcel.SaveAsByTemplate(path, templatePath, value);


3.2 復(fù)雜數(shù)據(jù)填充

1.    // 1By POCO

2.    var value = new

3.    {

4.    title = "FooCompany",

5.    managers = new[] {

6.    new {name="Jack",department="HR"},

7.    new {name="Loan",department="IT"}

8.    },

9.    employees = new[] {

10.  new {name="Wade",department="HR"},

11.  new {name="Felix",department="HR"},

12.  new {name="Eric",department="IT"},

13.  new {name="Keaton",department="IT"}

14.  }

15.  };

16.  MiniExcel.SaveAsByTemplate(path, templatePath, value);

  1. 1.  // 2By Dictionary

  2. 2.  var value = new Dictionary<stringobject>()

  3. 3.  {

  4. 4.  ["title"] = "FooCompany",

  5. 5.  ["managers"] = new[] {

  6. 6.  new {name="Jack",department="HR"},

  7. 7.  new {name="Loan",department="IT"}

  8. 8.  },

  9. 9.  ["employees"] = new[] {

  10. 10. new {name="Wade",department="HR"},

  11. 11. new {name="Felix",department="HR"},

  12. 12. new {name="Eric",department="IT"},

  13. 13. new {name="Keaton",department="IT"}

  14. 14. }

  15. 15. };

  16. 16. MiniExcel.SaveAsByTemplate(path, templatePath, value);


4、Excel 列屬性 (Excel Column Attribute)

4.1 指定列名稱、指定第幾列、是否忽略該列

1.    public class ExcelAttributeDemo

2.    {

3.    [ExcelColumnName("Column1")]

4.    public string Test1 { getset; }

5.    [ExcelColumnName("Column2")]

6.    public string Test2 { getset; }

7.    [ExcelIgnore]

8.    public string Test3 { getset; }

9.    [ExcelColumnIndex("I")] // 系統(tǒng)會(huì)自動(dòng)轉(zhuǎn)換"I"為第8

10.  public string Test4 { getset; }

11.  public string Test5 { get; } //系統(tǒng)會(huì)忽略此列

12.  public string Test6 { get; private set; } //set非公開,系統(tǒng)會(huì)忽略

13.  [ExcelColumnIndex(3)] // 0開始索引

14.  public string Test7 { getset; }

15.  }

  1. 1. var rows = MiniExcel.Query<ExcelAttributeDemo>(path).ToList();

  2. 2. Assert.Equal("Column1", rows[0].Test1);

  3. 3. Assert.Equal("Column2", rows[0].Test2);

  4. 4. Assert.Null(rows[0].Test3);

  5. 5. Assert.Equal("Test7", rows[0].Test4);

  6. 6. Assert.Null(rows[0].Test5);

  7. 7. Assert.Null(rows[0].Test6);

  8. 8. Assert.Equal("Test4", rows[0].Test7);


4.2 DynamicColumnAttribute 動(dòng)態(tài)設(shè)定 Column

1.    var config = new OpenXmlConfiguration

2.    {

3.    DynamicColumns = new DynamicExcelColumn[] {

4.    new DynamicExcelColumn("id"){Ignore=true},

5.    new DynamicExcelColumn("name"){Index=1,Width=10},

6.    new DynamicExcelColumn("createdate"){Index=0,Format="yyyy-MM-dd",Width=15},

7.    new DynamicExcelColumn("point"){Index=2,Name="Account Point"},

8.    }

9.    };

10.  var path = PathHelper.GetTempPath();

11.  var value = new[] { new { id = 1, name = "Jack", createdate = new DateTime(20220412) ,point = 123.456} };

12.  MiniExcel.SaveAs(path, valueconfiguration: config);


Excel 類別自動(dòng)判斷

  • MiniExcel 預(yù)設(shè)會(huì)根據(jù)文件擴(kuò)展名判斷是 xlsx 還是 csv,但會(huì)有失準(zhǔn)時(shí)候,請(qǐng)自行指定。

  • Stream 類別無法判斷來源于哪種 excel 請(qǐng)自行指定

  • 1.  stream.SaveAs(excelType:ExcelType.CSV);

  • 2.  //or

  • 3.  stream.SaveAs(excelType:ExcelType.XLSX);

  • 4.  //or

  • 5.  stream.Query(excelType:ExcelType.CSV);

  • 6.  //or

  • 7.  stream.Query(excelType:ExcelType.XLSX);


該文章在 2023/9/7 17:26:42 編輯過
關(guān)鍵字查詢
相關(guān)文章
正在查詢...
點(diǎn)晴ERP是一款針對(duì)中小制造業(yè)的專業(yè)生產(chǎn)管理軟件系統(tǒng),系統(tǒng)成熟度和易用性得到了國(guó)內(nèi)大量中小企業(yè)的青睞。
點(diǎn)晴PMS碼頭管理系統(tǒng)主要針對(duì)港口碼頭集裝箱與散貨日常運(yùn)作、調(diào)度、堆場(chǎng)、車隊(duì)、財(cái)務(wù)費(fèi)用、相關(guān)報(bào)表等業(yè)務(wù)管理,結(jié)合碼頭的業(yè)務(wù)特點(diǎn),圍繞調(diào)度、堆場(chǎng)作業(yè)而開發(fā)的。集技術(shù)的先進(jìn)性、管理的有效性于一體,是物流碼頭及其他港口類企業(yè)的高效ERP管理信息系統(tǒng)。
點(diǎn)晴WMS倉儲(chǔ)管理系統(tǒng)提供了貨物產(chǎn)品管理,銷售管理,采購管理,倉儲(chǔ)管理,倉庫管理,保質(zhì)期管理,貨位管理,庫位管理,生產(chǎn)管理,WMS管理系統(tǒng),標(biāo)簽打印,條形碼,二維碼管理,批號(hào)管理軟件。
點(diǎn)晴免費(fèi)OA是一款軟件和通用服務(wù)都免費(fèi),不限功能、不限時(shí)間、不限用戶的免費(fèi)OA協(xié)同辦公管理系統(tǒng)。
Copyright 2010-2025 ClickSun All Rights Reserved