快速读取TXT几百万行数据，然后插入到数据，SqlBulkCopy功能的确是有效率

最新推荐文章于 2022-04-21 13:54:51 发布

转载最新推荐文章于 2022-04-21 13:54:51 发布 · 583 阅读

0 ·

CC 4.0 BY-SA版权

原文链接：http://www.cnblogs.com/whtydn/p/11377716.html

文章标签：

#数据库 #java #c#

本文介绍了一种使用C#读取文本文件的方法，并将读取的数据批量插入到SQL Server数据库中。首先定义了DataTable结构，然后通过StreamReader逐行读取文件，解析并填充DataTable，最后使用SqlBulkCopy进行高效批量插入。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

public static void Main(string[] args)
        {
            string strPath = "F:\\Download\\600.txt";
            int lines = 1;
            Console.WriteLine("正在读取行数...."+DateTime.Now.ToString());
            DataTable dt = new DataTable();
            dt.Columns.Add("ID", System.Type.GetType("System.Int32"));
            dt.Columns.Add("UserName",System.Type.GetType("System.String"));            
            dt.Columns.Add("Password", System.Type.GetType("System.String"));
            dt.Columns.Add("Email", System.Type.GetType("System.String"));

            using (var sr = new StreamReader(strPath))
            {
                var ls = "";
                while ((ls = sr.ReadLine()) != null)
                {
                    if (ls.Contains("#"))
                    {
                        string[] templine = ls.Split('#');
                        if (templine.Length == 3)
                        {
                            DataRow item = dt.NewRow();
                            item["ID"] = lines;
                            item["UserName"] = templine[0].Trim();
                            item["Password"] = templine[1].Trim();
                            item["Email"] = templine[2].Trim();
                            dt.Rows.Add(item);
                            lines++;
                        }
                    }
                }
            }

            if (dt.Rows.Count > 0)
            {
                string strConnection = "server=localhost;database=Data;uid=sa;pwd=123456;Connect Timeout=50000";
                SqlBulkCopyInsert(strConnection, "tb_csdn_data", dt);
            }

            Console.WriteLine("结束读取行数" + dt.Rows.Count + "...." + DateTime.Now.ToString());
            Console.ReadLine();
        }

        public static void SqlBulkCopyInsert(string strConnection, string strTableName, DataTable dt)
        {
            try
            {
                using (SqlBulkCopy sqlRevdBulkCopy = new SqlBulkCopy(strConnection))
                {
                    sqlRevdBulkCopy.BulkCopyTimeout = 50000;
                    sqlRevdBulkCopy.DestinationTableName = strTableName; 
                    sqlRevdBulkCopy.NotifyAfter = dt.Rows.Count;
                    sqlRevdBulkCopy.WriteToServer(dt);
                    sqlRevdBulkCopy.Close(); 
                }
            }
            catch (Exception ex)
            {
                throw (ex);
            }
        }

转载于:https://www.cnblogs.com/whtydn/p/11377716.html