使用SqlBulkCopy批量快速插入大量数据到SQL SERVER

本文介绍如何利用SqlBulkCopy优化大量数据插入,对比常规SqlCommand的低效,SqlBulkCopy能显著提高速度,将25W行数据的插入时间从20分钟缩短到几秒钟。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

现有一个文本文件,大小为8M多,有大约25W行。每一行文本为一条数据,经过简单的字符串拆分就可以获取每个字段的值。但是,如果使用常规的SqlConnection和SqlCommand来执行插入的话,25W行数据大约会花去20分钟时间,这种效率是及其低下的。

如下代码:

string[] lines = File.ReadAllLines("CellPhoneNumber.txt", Encoding.Default);

            string connString = @"Data Source = (local)\SqlExpress; Integrated Security = true; Initial Catalog = Test";

            using (SqlConnection conn = new SqlConnection(connString))
            {
                conn.Open();
                foreach (string line in lines)
                {
                    string[] tempLine = line.Split('\t');
                    string PreFix = tempLine[0].Trim('\"');
                    string Area = tempLine[1].Trim('\"');
                    string Type = tempLine[2].Trim('\"');
                    string Code = tempLine[3].Trim('\"');

                    string cmdString = @"INSERT INTO T_CellPhoneLocation VALUES(@PreFix,@Area,@Type,@Code)";
                    using (SqlCommand cmd = new SqlCommand(cmdString, conn))
                    {
                        SqlParameter[] sqlParameters = new SqlParameter[] 
                        {
                            new SqlParameter("@PreFix",PreFix),
                            new SqlParameter("@Area",Area),
                            new SqlParameter("@Type",Type),
                            new SqlParameter("@Code",Code)
                        };

                        cmd.Parameters.AddRange(sqlParameters);

                        cmd.ExecuteNonQuery();
                    }
                }

但是如果使用SqlBulkCopy的话,效率会快上几百倍。但使用SqlBulkCopy需要先将待插入数据读取到内存的DataSet中,然后再一次性批量插入。

如下代码:

 string connString = @"Data Source = (local)\SqlExpress; Integrated Security = true; Initial Catalog = Test";
            DataTable dt = new DataTable();
            dt.Columns.Add("PreFix");
            dt.Columns.Add("Area");
            dt.Columns.Add("Type");
            dt.Columns.Add("Code");

            string[] lines = File.ReadAllLines("CellPhoneNumber.txt", Encoding.Default);

            foreach (string line in lines)
            {
                string[] tempLine = line.Split('\t');
                DataRow dr = dt.NewRow();
                dr["PreFix"] = tempLine[0].Trim('\"');
                dr["Area"] = tempLine[1].Trim('\"');
                dr["Type"] = tempLine[2].Trim('\"');
                dr["Code"] = tempLine[3].Trim('\"');

                dt.Rows.Add(dr);
            }

            using (SqlBulkCopy sbc = new SqlBulkCopy(connString))
            {
                sbc.DestinationTableName = "T_CellPhoneLocation";
                sbc.ColumnMappings.Add("PreFix", "PreFix");
                sbc.ColumnMappings.Add("Area", "Area");
                sbc.ColumnMappings.Add("Type", "Type");
                sbc.ColumnMappings.Add("Code", "Code");
                sbc.WriteToServer(dt);
            }

前者用时25min,后者用时4second

倍数相差; 375

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值