数据迁移之SqlBulkCopy对象(一)

本文介绍了一种使用 .Net Framework 的 SqlBulkCopy 功能进行高效数据批量导入的方法,通过实例演示了如何从 DataGridView 控件获取数据并批量写入 SQL Server 数据库。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

    最近在做数据导入的一些功能,因为涉及到的数据比较多,所以就要考虑效率的问题了,经过简单计算,这个系统得支持几十万条数据才行,如果用我们通常使用的insert  into 语句效率可想而知,点一下按钮就在那等吧,不用说用户,我们自己都受不了。


    后来经过查询资料得知,.Net Framework提供的SqlbulkCopy函数就可以将原来一条一条处理的数据经过批量处理,并且SqlbulkCope只要求导入的是Sql数据库,对于数据源是没有要求的,


    使用SqlbulkCopy对象要经过这样三个步骤:

                                                         获取数据源数据

                                                         连接到目标数据库

                                                         建立SqlbulkCopy视图


    DEMO

        先说一下我们这个例子的思路,这个小例子中有两条线,第一条线,只是简单的将简单的数据库中表显示到U层的Datagridbiew中(这条线不再展示),为第二条线做准备,第二条线实现的则是数据迁移功能,即我们在datagridview的表格中输入多条数据,让后将数据一次性插入到数据库。

    首先,我们来看数据迁移按钮下的U层代码:

<span style="font-size:18px;"><strong>Dim str As String
        Dim dt As New DataTable
        Dim tablebll As New BLL.DataMoveBLL

        '为dt添加相应的列
        dt.Columns.Add("departmentId")
        dt.Columns.Add("unitId")
        dt.Columns.Add("listId")
        dt.Columns.Add("rowId")
        dt.Columns.Add("lineId")
        dt.Columns.Add("data")
        dt.Columns.Add("currentdate")
        dt.Columns.Add("currenttime")
        dt.Columns.Add("isDelete")


        Dim dr As DataRow
        '使用循环给dt赋值
        For i = 0 To DataGridView1.Rows.Count - 1
            dr = dt.NewRow  'dr为dt的新行
            dr("departmentId") = (DataGridView1.Rows(0).Cells(0).Value)
            dr("unitId") = (DataGridView1.Rows(0).Cells(1).Value)
            dr("listId") = (DataGridView1.Rows(0).Cells(2).Value)
            dr("rowId") = (DataGridView1.Rows(0).Cells(3).Value)
            dr("lineId") = (DataGridView1.Rows(0).Cells(4).Value)
            dr("data") = (DataGridView1.Rows(0).Cells(5).Value)
            dr("currentdate") = (DataGridView1.Rows(0).Cells(6).Value)
            dr("currenttime") = (DataGridView1.Rows(0).Cells(7).Value)
            dr("isDelete") = (DataGridView1.Rows(0).Cells(8).Value)
            dt.Rows.Add(dr)
        Next i

        '调用B层方法
        str = tablebll.DataMoveBLL(dt)
</strong></span>

    在U层我们实现的是第一步——获取数据源数据

    首先,我们给数据源对象添加相应的列,这里添加的列即是我们要给数据库插入的列,这些列可以跟数据表中相同也可以跟数据表中不同。然后我们要做的是给数据源dt的行dr赋值,即我们哟啊插入的数据。然后调用B层方法,将dt传给B层,因为是简单的展示,B层只是简单的将dt传给D层,所以这里不再展示B层的代码。

    下图是我U层的输入情况:



    我将SqlbulkCopy对象的应用放在了D层,所以我们着重来看D层。

<span style="font-size:18px;"><strong>Dim str As String
        Dim ConnectStr As String

        '定义链接对象
        ConnectStr = System.Configuration.ConfigurationManager.ConnectionStrings("ConnString").ConnectionString
        Dim connection As SqlConnection = New SqlConnection(ConnectStr)

        '实例化SqlbulkCopy对象
        Dim bulkCopy As New SqlBulkCopy(ConnectStr, SqlBulkCopyOptions.KeepIdentity Or SqlBulkCopyOptions.UseInternalTransaction)

        '填写目标数据表的名字,即我们要将数据插入到哪张表中
        bulkCopy.DestinationTableName = "T_dataTable"
        '执行插入操作
        bulkCopy.WriteToServer(dt)</strong></span>

    至此,我们的操作完毕,下图为数据库的效果图:



    做系统时我们不仅要实现基本功能,还要考虑效率的问题,尤其是数据量比较大的时候,效率问题不容忽视,这时候就给了我们探索的机会。

评论 30
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值