关于批量数据更新的问题(C#高性能)

当你批量操作数据的时候,常常会使用到update table1 from table2)的这种方式。这种方式是最简洁的。

但当你从excel或者CSV文件更新海量数据时,再使用这种方法,那性能是不是好,字符串拼接又何其之多,大数据是不是需要分组更新?

我不想去检测各种方法的速度,因为我个人比较认可以下方式,欢迎大家批评与指正。

我需要使用到的类主要是SqlCommandBuilder。

复制代码
/// <param name="table">准备更新的DataTable新数据</param>
    /// <param name="TableName">对应要更新的数据库表名</param>
    /// <param name="primaryKeyName">对应要更新的数据库表的主键名</param>
    /// <param name="columnsName">对应要更新的列的列名集合</param>
    /// <param name="limitColumns">需要在SQL的WHERE条件中限定的条件字符串,可为空。</param>
    /// <param name="onceUpdateNumber">每次往返处理的行数</param>
    /// <returns>返回更新的行数</returns>
    public static int Update(DataTable table, string TableName, string primaryKeyName, string[] columnsName, string limitWhere,int onceUpdateNumber)
    {
        if (string.IsNullOrEmpty(TableName)) return 0;
        if (string.IsNullOrEmpty(primaryKeyName)) return 0;
        if (columnsName == null || columnsName.Length <= 0) return 0;
        DataSet ds = new DataSet();
        ds.Tables.Add(table);
        int result = 0;
        using (SqlConnection sqlconn = new SqlConnection(SqlHelper.ConnString))
        {
            sqlconn.Open();

            //使用加强读写锁事务   
            SqlTransaction tran = sqlconn.BeginTransaction(IsolationLevel.ReadCommitted);
            try
            {
                foreach (DataRow dr in ds.Tables[0].Rows)
                {
                    //所有行设为修改状态   
                    dr.SetModified();
                }
                //为Adapter定位目标表   
                SqlCommand cmd = new SqlCommand(string.Format("select * from {0} where {1}", TableName,limitWhere), sqlconn, tran);
                SqlDataAdapter da = new SqlDataAdapter(cmd);
                SqlCommandBuilder sqlCmdBuilder = new SqlCommandBuilder(da);
                da.AcceptChangesDuringUpdate = false;
                string columnsUpdateSql = "";
                SqlParameter[] paras = new SqlParameter[columnsName.Length];
                //需要更新的列设置参数是,参数名为"@+列名"
                for (int i = 0; i < columnsName.Length; i++)
                {
                    //此处拼接要更新的列名及其参数值
                    columnsUpdateSql += ("[" + columnsName[i] + "]" + "=@" + columnsName[i] + ",");
                    paras[i] = new SqlParameter("@" + columnsName[i], columnsName[i]);
                }
                if (!string.IsNullOrEmpty(columnsUpdateSql))
                {
                    //此处去掉拼接处最后一个","
                    columnsUpdateSql = columnsUpdateSql.Remove(columnsUpdateSql.Length - 1);
                }
                //此处生成where条件语句
                string limitSql = ("[" + primaryKeyName + "]" + "=@" + primaryKeyName);
                SqlCommand updateCmd = new SqlCommand(string.Format(" UPDATE [{0}] SET {1} WHERE {2} ", TableName, columnsUpdateSql, limitSql));
                //不修改源DataTable   
                updateCmd.UpdatedRowSource = UpdateRowSource.None;
                da.UpdateCommand = updateCmd;
                da.UpdateCommand.Parameters.AddRange(paras);
                da.UpdateCommand.Parameters.Add("@" + primaryKeyName, primaryKeyName);
                //每次往返处理的行数
                da.UpdateBatchSize = onceUpdateNumber;
                result = da.Update(ds,TableName);
                ds.AcceptChanges();
                tran.Commit();

            }
            catch
            {
                tran.Rollback();
            }
            finally
            {
                sqlconn.Dispose();
                sqlconn.Close();
            }


        }
        return result;
    }
复制代码

注: 此方法调用时要传入的参数,包括主键名和列名都应与数据库实际的名称相对应.
你可以不传入限定的where条件,如果传入,只需传入:Name="chamy" or Name="jundy",不需加入“where”等字符,不可以在此处传入主键的限定。你只需要在主键名这个参数上传入名称即可。

在C#中完成海量数据的批量插入和更新 对于海量数据的插入和更新,ADO.NET确实不如JDBC做到好,JDBC有统一的模型来进行批操作.使用起来非常方便: PreparedStatement ps = conn.prepareStatement("insert or update arg1,args2...."); 然后你就可以 for(int i=0;i  ps.setXXX(realArg);  .....  ps.addBatc 阅读详情

相关推荐

OPC批量添加数据并且批量更新到数据库的实现

记录一下今天刚写完并且运行成功的代码和思路,关于工业协议OPC的数据读写,还有与数据库的交互相关问题,重点是批量,如何批量进行导出导入和更新。 OPC不用讲了,工业协议,做物联网的都知道。。。。= =其实就是个DLL包,没啥东西好说的,用人家的东西就行了。从设备上把数据读出来。 其实上个星期写过一个关于门禁系统的数据交互,大概功能是从某大厦把所有门禁的数据读出来,然后更新到数据库,保留数据,供

qq_40903561的博客 1万+

DataTable实现批量更新

<br />//批量更新<br />     protected void Button1_Click(object sender, EventArgs e)<br />     {<br />         SqlConnection GetAllConn = checkConnection.getConnection();<br />         GetAllConn.Open();<br />         <br />         SqlCommand GetAllCmd =

狼迹天涯的专栏 1675

C# SqlBulkCopy sqlserver 批量更新数据

在开发中遇到了一张表的数据因为只做了同步插入而没有做同步更新的操作,导致了百万数据不准确。面对大量数据需要更新,传统的循环逐条插入以及拼接1000条数据插入都比较耗时,网上有博主做出了相关测试。     根据以上场景,新建控制台程序。config添加数据库连接配置,sqlHelper连接更新数据源,sqlBulkCopyHelper连接更新目标库。 1,注意三点:第一点是: String sqlstring = @""; 即String sqlstring = @"SELECT [order...

zsw119的博客 6074

C# DataTable 批量数据处理 增、删、改

1.批量新增,采用高效的SqlBulkCopy [csharp] view plain copy print? using (SqlBulkCopy sbc = new SqlBulkCopy(db.ConnectionString))                  {                      sbc.DestinationTableName

mikemiller2的专栏 5352

C# 使用MySqlBulkLoader 批量导入数据到Mysql

前言:    最近做了一个导入数据的功能,需求大概是这样的,有张Excel表格,将里面的数据插入到mysql已经建好的表里面,而且字段要一一对应,之前我们用的是SqlServer数据库,实现这个批量插入的工作就很简单了,我们可以用SqlBulkCopy批量更新数据,但是在Mysql的ADO操作对象中并没有这个对象,难道要去拼接Insert语句么?小编找到了这样一个有用的对象—— MySq

周洲 (Julie) 2万+

实现 DataTable按条件进行更新(类似sql的update)

使用C#直接对DataTable进行操作,实现了sql语句的update tabel set name = 'Clear_Mind' where id < 5 的功能。

C#批量增量更新数据

方法一:建立临时表进行数据更新和插入 Step1 创建临时表 /// <summary> /// 创建临时表存储当前需要提交的数据 /// </summary> /// <param name="db">数据库连接对象信息</param> /// <param n...

yang帆的博客 6083

C#使用DataSet Datatable更新数据库的三种实现方法

本文以实例形式讲述了使用DataSet Datatable更新数据库的三种实现方法,包括CommandBuilder 方法、DataAdapter 更新数据源以及使用sql语句更新。分享给大家供大家参考之用。具体方法如下: 一、自动生成命令的条件 CommandBuilder 方法 a)动态指定 SelectCommand 属性 b)利用 CommandBuilder 对象自动生成 DataAdapter 的 DeleteCommand、InsertCommand 和 UpdateCommand。 c)为了返回构造 INSERT、UPDATE 和 DELETE 。SQL CommandBuil

C#利用SqlDataAdapte对DataTable进行批量数据操作

  C#利用SqlDataAdapte对DataTable进行批量数据操作,可以让我们大大简化操作数据的代码量,我们几乎不需要循环和不关心用户到底是新增还是修改,更不用编写新增和修改以及删除的SQL语句,适配器都帮我们在后台进行了很好的处理.   如果您要通过 SQL Server 存储过程使用 DataAdapter 来编辑或删除数据,请确保不要在存储过程定义中使用 SET NOCOUNT O...

weixin_34177064的博客 456

Isaacgym使用操作指南

Isaac Gym 是一个强大的仿真工具,特别适合那些需要进行大规模并行仿真和训练的机器人和强化学习任务。通过 GPU 加速、深度学习集成和丰富的物理仿真能力,Isaac Gym 能够显著提高仿真和训练效率,是机器人学和 AI 研究中的一大利器。

Tony Wey的博客 1万+

【论文分享】【Agent】ProAgent: Building Proactive Cooperative Agents with Large Language Models

多智能体系统是由多个智能体组成的集合,这些智能体可以是软件程序、机器人、传感器或其他实体,它们各自具备一定的智能和自主性,并通过交互协作来实现单个智能体难以完成的复杂目标。

nanxun___的博客 1126

【转】关于批量数据更新的问题(C#高性能)

当你批量操作数据的时候,常常会使用到update table1 from table2)的这种方式。这种方式是最简洁的。 但当你从excel或者CSV文件更新海量数据时,再使用这种方法,那性能是不是好,字符串拼接又何其之多,大数据是不是需要分组更新? 我不想去检测各种方法的速度,因为我个人比较认可以下方式,欢迎大家批评与指正。 我需要使用到的类主要是SqlCommandBuilder。 ...

weixin_30408675的博客 109

基于JAVA的GB28181实现之SIP服务核心组件解析

本文深入解析了基于JAVA的GB28181标准中SIP服务的核心组件实现,包括协议栈选择、消息处理引擎、事务管理器等关键技术点。通过实战案例分享海康威视、大华设备的特殊处理技巧,并提供性能优化和常见问题排查指南,帮助开发者高效构建稳定的视频监控系统。

weixin_30892037的博客 264

C# 语言 SQL Server 批量更新

本文详细介绍了C#操作SQL Server实现批量更新的多种方案。针对小数据量(1000条以内)推荐参数化SQL拼接或CASE WHEN优化;对于大数据量(1000条以上)建议使用SqlBulkCopy+临时表方案或Dapper框架。重点强调了SQL注入防护、事务保护、连接释放等关键注意事项,并提供了完整的代码实现。不同场景下的最优选择:小数据量注重简洁高效,大数据量追求高性能低损耗,同时兼顾开发效率与数据安全。

StevenChen的博客 971

KT148A语音芯片SOP外挂功放芯片8002D的说明_V1

KT148A语音芯片内置8欧姆0.5W的功放,所以一般的应用场景,播放一些提示音音量是足够的。但是有的需求还需要驱动更大的扬声器,实现更大的播放音量,这里我们给出解决方案。KT148A+HAA8002D的组合

qyvhome的博客 2152

全新RGB-D及平面法线数据集DIODE

丰田工业大学联合芝加哥大学和北航发布全新RGB-D及平面法线数据集 DIODE (Dense Indoor and Outdoor DEpth)。

qq_43477338的博客 1540

C#批量更新数据库慢如蜗牛?这3种方案让你速度提升90%

解决C#数据处理批量操作效率难题,3种高效方案显著提升数据库更新速度。适用于大批量数据写入场景,采用SqlBulkCopy、事务批处理和并行优化技术,性能提升达90%。开发必备技巧,值得收藏。

PixelShoal的博客 878

23种设计模式-代理(Proxy)设计模式

软考中级-软件设计师 代理设计模式

片言可决讼,半纸能缚龙 1784

c# mysql批量更新数据库_C#批量更新sql实例

本文实例讲述了C#批量更新sql的方法,分享给大家供大家参考。具体方法如下:要实现批量更新Card数据,主要有以下步骤:1、首先建立数据库连接2、把部分数据填充到Dataset中3、修改Dataset中数据的值4、更新Dataset5、循环操作,具体操作过程见下面代码:public void BatchUpdate(List list){using (SqlConnection conn = ne...

weixin_34520360的博客 991

Vue3 - 详解实现网站接入微信扫码登录功能,微信授权生成登录二维码用户用手机扫描二维码登陆,微信扫描二维码登录详细流程及示例代码,支持弹框式、浏览器单独新开页显示,最新vue集成微信扫码授权登录!

vue3,nuxt3,PC网站,网页,微信扫码登录,微信登陆,vue3微信扫码登录,获取个人信息,扫码登录后如何获取用户手机号,微信扫码授权登录,vue3详细实现微信扫一扫登陆,pc网页微信登录,vue3集成微信扫码登录,详细流程和示例源码,第三方扫码登录,vue3微信扫码登录怎么新开一页,跳页显示二维码,内嵌登录二维码,iframe,iframe新页面弹出,弹出一个小窗口显示登录二维码,登录报错,微信扫码没反应,解决手机点登录报错没反应,官方文档,手机扫描微信二维码登录网站,最好用的插件,vue-wxlo

🏆 前端领域优质创作者 1万+

13、离散时间系统建模与分析

本文系统介绍了离散时间系统的建模与分析方法,涵盖连续时间模型的离散化过程、系统稳定性判断准则、输入输出模型转换方法以及有限脉冲响应和阶跃响应模型的应用。通过多个示例详细展示了不同系统在离散化过程中的特性变化,并探讨了采样间隔对系统动态特性的影响。此外,文章还分析了时间延迟的处理方法,并总结了关键知识点及操作步骤,为离散时间系统的实际应用提供了理论基础和实践指导。

2w3e4r5t6y的博客 191

C# List数据批量更新

针对单条数据一般都是update语句直接更新 例如:update UserTable set UserName='小名'   where userid=xxx 但是如果是针对List数据组进行更新的话不外乎两种 1、程序for、foreach、while循环语句然后多次请求数据库更新(这种在这里不多做解释,因为基本上都知道这种方法) 2、重点说下下面这种方式:通过XML的方

ZhXXX的专栏 6747

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

上一篇: .NET异步编程总结----四种实现模式
下一篇: debian源码下载
devgis
博客等级 码龄16年 52粉丝 60原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值