【黑马训练营】优化大数据插入

---------------------- ASP.Net+Android+IOS开发、.Net培训、期待与您交流！ ----------------------

利用普通的方法进行大数据的插入，速度十分的慢。 

如图可见，25万8千条数据的插入，按照普通的方案，即便是独占Connection不断开，也需要将近20分钟。而对比bulk仅需要将近4秒钟，对比差距很大。

而bulk仅仅是开始，我们继续设法将效率进行提升！

为了更有效的对比（接下来的提升可能用上面的数据对比，无法显示出优势来），我们将在控制台当中，模拟100万条数据的插入。

1. public static void BulkToDB(DataTable dt)  
2. {  
3.     SqlConnection sqlConn = new SqlConnection(  
4.         ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);  
5.     SqlBulkCopy bulkCopy = new SqlBulkCopy(sqlConn);  
6.     bulkCopy.DestinationTableName = "BulkTestTable";  
7.     bulkCopy.BatchSize = dt.Rows.Count;  
8.   
9.     try  
10.     {  
11.         sqlConn.Open();  
12.     if (dt != null && dt.Rows.Count != 0)  
13.         bulkCopy.WriteToServer(dt);  
14.     }  
15.     catch (Exception ex)  
16.     {  
17.         throw ex;  
18.     }  
19.     finally  
20.     {  
21.         sqlConn.Close();  
22.         if (bulkCopy != null)  
23.             bulkCopy.Close();  
24.     }  
25. }  
26.   
27. public static DataTable GetTableSchema()  
28. {  
29.     DataTable dt = new DataTable();  
30.     dt.Columns.AddRange(new DataColumn[]{  
31.         new DataColumn("Id",typeof(int)),  
32.         new DataColumn("UserName",typeof(string)),  
33.     new DataColumn("Pwd",typeof(string))});  
34.   
35.     return dt;  
36. }  
37.   
38. static void Main(string[] args)  
39. {  
40.     Stopwatch sw = new Stopwatch();  
41.     for (int multiply = 0; multiply < 10; multiply++)  
42.     {  
43.         DataTable dt = Bulk.GetTableSchema();  
44.         for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++)  
45.         {  
46.             DataRow r = dt.NewRow();  
47.             r[0] = count;  
48.             r[1] = string.Format("User-{0}", count * multiply);  
49.             r[2] = string.Format("Pwd-{0}", count * multiply);  
50.             dt.Rows.Add(r);  
51.         }  
52.         sw.Start();  
53.         Bulk.BulkToDB(dt);  
54.         sw.Stop();  
55.         Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds));  
56.     }  
57.   
58.     Console.ReadLine();  
59. } 
    

耗时图如下：

接下来，使用表值参数的效率，会另你大为惊讶的

表值参数是SQL Server 2008新特性，简称TVPs。

1. public static void TableValuedToDB(DataTable dt)  
2. {  
3.     SqlConnection sqlConn = new SqlConnection(  
4.       ConfigurationManager.ConnectionStrings["ConnStr"].ConnectionString);  
5.     const string TSqlStatement =  
6.      "insert into BulkTestTable (Id,UserName,Pwd)" +  
7.      " SELECT nc.Id, nc.UserName,nc.Pwd" +  
8.      " FROM @NewBulkTestTvp AS nc";  
9.     SqlCommand cmd = new SqlCommand(TSqlStatement, sqlConn);  
10.     SqlParameter catParam = cmd.Parameters.AddWithValue("@NewBulkTestTvp", dt);  
11.     catParam.SqlDbType = SqlDbType.Structured;  
12.     //表值参数的名字叫BulkUdt，在上面的建立测试环境的SQL中有。  
13.     catParam.TypeName = "dbo.BulkUdt";  
14.     try  
15.     {  
16.       sqlConn.Open();  
17.       if (dt != null && dt.Rows.Count != 0)  
18.       {  
19.           cmd.ExecuteNonQuery();  
20.       }  
21.     }  
22.     catch (Exception ex)  
23.     {  
24.       throw ex;  
25.     }  
26.     finally  
27.     {  
28.       sqlConn.Close();  
29.     }  
30. }  
31.   
32. public static DataTable GetTableSchema()  
33. {  
34.     DataTable dt = new DataTable();  
35.     dt.Columns.AddRange(new DataColumn[]{  
36.       new DataColumn("Id",typeof(int)),  
37.       new DataColumn("UserName",typeof(string)),  
38.       new DataColumn("Pwd",typeof(string))});  
39.   
40.     return dt;  
41. }  
42.   
43. static void Main(string[] args)  
44. {  
45.     Stopwatch sw = new Stopwatch();  
46.     for (int multiply = 0; multiply < 10; multiply++)  
47.     {  
48.         DataTable dt = TableValued.GetTableSchema();  
49.         for (int count = multiply * 100000; count < (multiply + 1) * 100000; count++)  
50.         {          
51.             DataRow r = dt.NewRow();  
52.             r[0] = count;  
53.             r[1] = string.Format("User-{0}", count * multiply);  
54.             r[2] = string.Format("Pwd-{0}", count * multiply);  
55.             dt.Rows.Add(r);  
56.         }  
57.         sw.Start();  
58.         TableValued.TableValuedToDB(dt);  
59.         sw.Stop();  
60.         Console.WriteLine(string.Format("Elapsed Time is {0} Milliseconds", sw.ElapsedMilliseconds));  
61.     }  
62.   
63.     Console.ReadLine();  
64. } 
    

耗时图如下：

也就是说，百万级快5秒，数据上来看，速度提升将近25%，应该也算是一个不小的提升了。

---------------------- ASP.Net+Android+IOS开发、 .Net培训、期待与您交流！ ----------------------详细请查看： http://edu.youkuaiyun.com