将TXT文件中的数据整理成sql数据库

这篇博客分享了一次将400M大小的TXT文件数据整理并导入SQL数据库的经历。由于TXT文件中数据以每行一条记录,字段间用||分隔,作者在使用SQL Server直接导入时遇到错误。为了解决不完整数据的问题,作者编写了代码进行手动处理,虽然代码可能不够整洁,但成功处理了221万条记录,耗时3个多小时。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

在工作中遇到一个问题,合作单位给了一个400M的txt文件,里面包含了工作中需要的数据,于是便有了这种需求和下面的代码,在此贴出来,共享。

TXT文件中数据排列规则:1、每一行是一条数据; 2、每个字段之间用|| 分割。

我首先用sql server 进行数据导入,但总是报错,因为该TXT文件中有些数据不完整,使得直接导入失败。

                                                                                                                                                      TXT文件截图

代码写的有点乱,主要是为例快速实现功能,其他的考虑少一些,见谅。

下面这段代码运行了3个多小时,完成了221万条记录的读取、分段和写入数据库


 public partial class Form1 : Form
    {
        public Form1()
        {
  
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值