-
C# 使用流读取大型TXT文本文件
一、前言
业务需要读取txt的内容,导入到数据库当中,博主百度了各种方法,大部分都会导致内存溢出异常,由此结合网上的各种方法,解决了该异常。
二、程序框架
.NET 4.5
WinForm
三、具体实现
1.1 TXT结构
可以看到该文件大小300多兆,里面的条数差不多60w左右,每行当中的数据使用Tab分割
1.2 代码
private void NewInsert1306(string fileDir) { FileStream fs = new FileStream(fileDir, FileMode.Open, FileAccess.Read);//创建一个文件流 参数(文件位置,打开此文件(如果没有会抛异常),文件访问权限(只读)) StreamReader sr = new StreamReader(fs);//创建一个txt读取流,从字节流中读取字符 参数(流) using (var db = new CFTech.His.Models.DbContext()) { try { Stopwatch sw = new Stopwatch();//计时器 sw.Start();//开始计时 int num = 0;//计算总条数 db.BeginTransaction(); //死循环,由于不知道到底有几行,跳出时机在循环体内部判断 while (true) { var arrList = new List<string>();//存放读取的数据 while (true) { var str = sr.ReadLine();//读取一行内容返回改行的字符串(一个换行符一行),fs有一个fs.position属性(流的位置),该属性在进行任何读取操作时会根据读取的实际情况进行移动,当该位置到达流的末尾时,此方法返回null,该位置也可手动设置fs.position=xxx(long类型) if (str == null) break;//跳出时机就是读完的时候 arrList.Add(str); if (arrList.Count > 10000) break;//该跳出用于入库,博主这里10000条入一次库 } if (arrList.Count == 0) break;//当存放数据的list条数为0时,循环就可以结束了 num += arrList.Count(); ResBase res = Insert1306(arrList);//该方法就是具体的入库操作了,可根据自己的实际情况去写 if (res.ErrCode == -1) { MessageBox.Show(res.ErrMsg); return; } } db.CommitTransaction(); fs.Close();//释放文件流 sw.Stop();//停止计时 MessageBox.Show("入库条数:" + num.ToString()+"------" + "耗时:" + sw.Elapsed); return; } catch (Exception e) { MessageBox.Show(e.Message); db.RollbackTransaction(); } } }
1.3效率(数据库:Oracle,orm框架:fireasy)
该方法为同步方法,全在主线程上操作,效率肯定没有异步快,UI会出现阻塞假死情况,以后在研究吧,差不多1分钟入库6w多,由于行业性质,勉强能接受吧
1.4遇到的坑
这是同事之前用的方法,他也没想到会遇到这么大的txt,该方法读取文件中的所有行,并且将每行数据转换为数组,对于小文件很方便,但是当文件大于一定程度时,必定会抛内存溢出异常,至于到底支持多大的文件,就没有具体测试了(个人认为和内存无关,计算机为16G内存,运行此方法时还没开始跑内存就直接抛了异常,可能是框架原因,亲测在core里面,使用相同方法,读取同一个20w行的文本,framework直接抛异常,core成功运行)
出处:https://www.cnblogs.com/Bourne-blog/p/16550120.html
栏目列表
最新更新
nodejs爬虫
Python正则表达式完全指南
爬取豆瓣Top250图书数据
shp 地图文件批量添加字段
爬虫小试牛刀(爬取学校通知公告)
【python基础】函数-初识函数
【python基础】函数-返回值
HTTP请求:requests模块基础使用必知必会
Python初学者友好丨详解参数传递类型
如何有效管理爬虫流量?
2个场景实例讲解GaussDB(DWS)基表统计信息估
常用的 SQL Server 关键字及其含义
动手分析SQL Server中的事务中使用的锁
openGauss内核分析:SQL by pass & 经典执行
一招教你如何高效批量导入与更新数据
天天写SQL,这些神奇的特性你知道吗?
openGauss内核分析:执行计划生成
[IM002]Navicat ODBC驱动器管理器 未发现数据
初入Sql Server 之 存储过程的简单使用
SQL Server -- 解决存储过程传入参数作为s
关于JS定时器的整理
JS中使用Promise.all控制所有的异步请求都完
js中字符串的方法
import-local执行流程与node模块路径解析流程
检测数据类型的四种方法
js中数组的方法,32种方法
前端操作方法
数据类型
window.localStorage.setItem 和 localStorage.setIte
如何完美解决前端数字计算精度丢失与数