mybatis的批量新增

最新推荐文章于 2024-02-02 11:11:45 发布
转载 最新推荐文章于 2024-02-02 11:11:45 发布 · 935 阅读 · 0
文章标签：

#mybatis的批量新增

开发项目中，总是与数据打交道，有的时候将数据放入到一个集合中，然后在遍历集合一条一条的插入，感觉效率超不好，最近又碰到这个问题，插入50条数据用了将近1s，完全满足不了系统的需求.效率必须加快，然后网上查询资料，历经千万bug，终于搞定，这里指提供mybatis中的配置，至于dao层的调用mybatis就自己上网查询下资料吧

1根据网上搜了一下资料，在sql-mapper.xml文件中写了如下配置可进行批量操作

< insert id ="insertBatch" parameterType="List" > 
    insert into REAL_DATA_HW( M_LINE_NO,M_TIME,HW_NUM, VOL_A,VOL_B,VOL_C )
    values 
    < foreach collection ="list" item ="item" index ="index" separator =","> 
       ( #{obj.M_LINE_NO},to_date(#{obj.M_TIME},'yyyy-MM-dd hh24:mi:ss'),#{obj.HW_NUM},
       #{obj.VOL_A},#{obj.VOL_B},#{obj.VOL_C} ) 
    </ foreach > 
</ insert >

然后启动，调用这个操作的时候报错 
Error setting null parameter. Most JDBC driversrequire that the JdbcType must be specified for all nullable parameters. Cause:java.sql.SQLException: 无效的列类型 
上网继续查询说加上 <![CDATA[    ]]> 即可，好吧配置变成了 

< insert id ="insertBatch" parameterType="List" > 
<![CDATA[
    insert into REAL_DATA_HW( M_LINE_NO,M_TIME,HW_NUM, VOL_A,VOL_B,VOL_C )
    values 
]]>
    < foreach collection ="list" item ="item" index ="index" separator =","> 
       ( #{obj.M_LINE_NO},to_date(#{obj.M_TIME},'yyyy-MM-dd hh24:mi:ss'),#{obj.HW_NUM},
       #{obj.VOL_A},#{obj.VOL_B},#{obj.VOL_C} ) 
    </ foreach > 
</ insert >

然后依然报同样的错，查来查去，发现一句坑爹的话这个只是支持mySQL，去年买了个表。。。 
继续找方法吧，又被我找到一种在ORACLE中可以用的方法，参考网上的步骤，有了如下的配置

< insert id ="insertBatch" parameterType="List" > 
    insert into REAL_DATA_HW( M_LINE_NO,M_TIME,HW_NUM, VOL_A,VOL_B,VOL_C )
    < foreach collection ="list" item ="item" index ="index" separator ="union all"> 
     select    #{obj.M_LINE_NO},to_date(#{obj.M_TIME},'yyyy-MM-dd hh24:mi:ss'),#{obj.HW_NUM},
       #{obj.VOL_A},#{obj.VOL_B},#{obj.VOL_C} from dual 
    </ foreach > 
</ insert >

这个的原理应该是参考的insert into  tableName select 。。。 from tableName1 这个方式
重新启动，然后继续报错，奔溃

org.springframework.jdbc.UncategorizedSQLException: Error setting null parameter. Most JDBC drivers require that the JdbcType must be specified for all nullable parameters...哎 ，找原因，mybaties对null缺乏处理，需要在字段后加上jdbcType=类型,于是添加类型吧，顺带去网上查询了mybatis的类型
iBatis官方的说法是, 只要是JDBC提供的JdbcType类中所定义的常量字符串，jdbcType这个属性就可以取这个值，虽然有一些类型iBatis尚且不能支持(例如blobs等)。而JdbcType类则由不同的JDBC Driver提供，可能由于Driver(不同类型的数据库有不同的Driver)的不同会存在差异，不过大同小异。一般都支持如下类型（大小写不敏感）：
Array, BigInt, Binary, Bit, Blob, Boolean, Char, Clob, Datalink, Date, Decimal, Double, Float, Integer, LongVarBinary, LongVarChar, Numeric, Real, Ref, SmallInt, Struct, Time, Timestamp, TinyInt, VarBinary, VarChar.
大小写不敏感，，配置如下

< insert id ="insertBatch" parameterType="List" > 
    insert into REAL_DATA_HW( M_LINE_NO,M_TIME,HW_NUM, VOL_A,VOL_B,VOL_C )
    < foreach collection ="list" item ="item" index ="index" separator ="union all"> 
     select    #{obj.M_LINE_NO,jdbcType= VarChar },to_date(#{obj.M_TIME ,jdbcType= VarChar },'yyyy-MM-dd hh24:mi:ss'),#{obj.HW_NUM , jdbcType=Double },
       #{obj.VOL_A ,jdbcType= Double },#{obj.VOL_B ,jdbcType= Double },#{obj.VOL_C ,jdbcType= Double } from dual
    </ foreach > 
</ insert >

调用的时候继续报错，有一个是
org.mybatis.spring.MyBatisSystemException: nested exception is org.apache.ibatis.builder.BuilderException: Error resolving JdbcType. Cause: java.lang.IllegalArgumentException: No enum const class org.apache.ibatis.type.JdbcType.Double
亲，不敏感你妹！！！！！！！！！
于是慢慢替换了下Double，终于在Double写成DOUBLE的时候不在报这个错误了，此时配置如下

< insert id ="insertBatch" parameterType="List" > 
    insert into REAL_DATA_HW( M_LINE_NO,M_TIME,HW_NUM, VOL_A,VOL_B,VOL_C )
    < foreach collection ="list" item ="item" index ="index" separator ="union all"> 
     select    #{obj.M_LINE_NO,jdbcType= VARCHAR },to_date(#{obj.M_TIME ,jdbcType= VARCHAR },'yyyy-MM-dd hh24:mi:ss'),#{obj.HW_NUM , jdbcType=DOUBLE },
       #{obj.VOL_A ,jdbcType= DOUBLE },#{obj.VOL_B ,jdbcType= DOUBLE },#{obj.VOL_C ,jdbcType= DOUBLE } from dual
    </ foreach > 
</ insert >

启动，调用这个方法的依然报错。。。

org.springframework.jdbc.BadSqlGrammarException:
### Error updating database.  Cause: java.sql.SQLException: ORA-01790: 表达式必须具有与对应表达式相同的数据类型

然后调试，发现VOL_A虽然是数字样子，但是我放入到map的是字符串。。。相当的无语，改成Double类型的放入到map中，然后重新调用到这个方法的时候。
看着屏幕上刷的数据，一种幸福感，满满的。。。
然后看下效率，比原来单条插入快了6倍！！！
最后想了下mybatis操作的时候#是会根据列的类型来判断是否需要添加引号，$不会加，然后将jdbcType=DOUBLE的字段换成了$,结果运行的时候没有报错。。但是数据库中相应字段没有数据啊！！！！！

CodingSir
关注
MyBatis批量插入的五种方式归纳总结
黄团团的个人博客
09-17 1万+
这里我列举了MyBatis和MyBatis-Plus常用的五种批量插入的方式，进行了详细的总结归纳，写的非常详细，整体思路清晰明了，只分享干货。
MyBatis 批量新增与删除功能完整教程
xiaoyu070321的博客
05-13 1205
本文介绍了如何使用 MyBatis 动态 SQL 实现批量新增和批量删除功能。通过 Mapper 接口定义和 XML 配置，详细解析了批量插入和删除的实现方式。批量插入支持自增主键回填，使用 useGeneratedKeys 和 <foreach> 标签实现多条记录的插入；批量删除则通过 <foreach> 标签生成 IN 子句，支持根据 ID 数组删除多条记录。文章还提供了测试代码示例，并总结了核心机制、注意事项以及常见问题排查方法，帮助开发者更好地理解和应用 MyBatis 的批
mybatis批量新增系列之表的批量新增初探
HelloWorld
08-03 3976
开发项目中，总是与数据打交道，有的时候将数据放入到一个集合中，然后在遍历集合一条一条的插入，感觉效率超不好，最近又碰到这个问题，插入50条数据用了将近1s，完全满足不了系统的需求.效率必须加快，然后网上查询资料，历经千万bug，终于搞定，这里指提供mybatis中的配置，至于dao层的调用mybatis就自己上网查询下资料吧 1根据网上搜了一下资料，在sql-mapper.xml文件中写了如下配
Java实现mybatis批量插入数据到Oracle
06-19
Java实现Mybatis将数据批量插入到Oracle中
Mybatis批量插入数据
10-16 289
由于项目需要生成多条数据，并保存到数据库当中，在程序中封装了一个List集合对象，然后需要把该集合中的实体插入到数据库中,项目使用了Spring+MyBatis，所以打算使用MyBatis批量插入，应该要比循环插入的效果更好,由于之前没用过批量插入，在网上找了一些资料后最终实现了，把详细过程贴出来。供以后查阅和学习。 java代码： 注意：这里循环的时候需new 出来新的对象，而不能通过循环改变属性的值就认为这是一个新的对象了,通俗的说就是new ReddemCode()要放在for循环的里面.
Mybatis批量更新报错问题
08-31
本文将详细分析Mybatis批量更新的报错问题及其解决方法。 首先，报错可能由于不支持批量更新操作的JDBC配置引起。在MySQL中，如果不开启`allowMultiQueries`参数，Mybatis尝试执行包含多个SQL语句的批量更新时，会...
Mybatis批量更新三种方式的实现
08-26
Mybatis批量更新三种方式的实现 Mybatis是一款流行的持久层框架，它提供了强大的数据库交互能力。其中，批量更新是一种常见的操作，能够提高数据库操作的效率。下面将介绍Mybatis批量更新三种方式的实现。 方式一...
详解mybatis 批量更新数据两种方法效率对比
08-26
MyBatis批量更新数据两种方法效率对比 在MyBatis中，批量更新数据是指在一次数据库交互中更新多条记录的操作。这种操作可以提高应用程序的性能和效率。今天，我们将讨论两种批量更新数据的方法，并对其进行效率对比...
mybatis学习之路mysql批量新增数据的方法
08-26
MyBatis批量新增数据方法详解 MyBatis是当前流行的持久层框架之一，提供了批量新增数据的方法来提高数据insert的效率。在本文中，我们将详细介绍MyBatis批量新增数据的方法，并对比单条insert和批量insert的效率。 ...
Mybatis批量添加数据
u013081622的博客
10-15 472
在程序中封装了一个List集合对象，然后需要把该集合中的实体插入到数据库中，由于项目使用了Spring+MyBatis的配置，所以打算使用MyBatis批量插入，由于之前没用过批量插入，在网上找了一些资料后最终实现了，把详细过程贴出来。实体类TrainRecord结构如下： java代码： private static final long serialVersionUID = -1206
MyBatis批量插入数据
chilllaxxx的博客
10-29 289
UserDacheReceipt.xml文件 批量增加接单记录 --> id="addUserDacheReceiptBatch" useGeneratedKeys="true" keyProperty="id"> insert into user_dache_receipt (recordId,userId,driverName,driverSim,remark,c
Mybatis 批量插入数据 SQL
zzhongcy的专栏
02-02 4459
上面代码中在 SQL 语句的最外层使用了 for 循环，好处是将 List 类型的集合传递来写入数据时可以有的是新增有的是修改，例如3行数据，第一三行由于主键字段对应属性 sid 被设置为 NULL ，会向数据库中新增行，第二行数据设置了 sid ，并且该值在数据库中有对应行，那么会修改数据库中的该行上的数据。通过在 java 中测试，发现上面的语句新增一行成功后会返回1，修改成功后会返回2（这里有疑惑，如果清楚原因的麻烦跟帖科普下）。这种写法适合插入数据的项不变，
mybatis批量插入数据
PlutoLiu的专栏
04-27 756
mybatis XML代码                     INSERT INTO scene_device(sceneId,deviceId) VALUES(#{SceneDevice.sceneId}, #{SceneDevice.deviceId})         repo中的代码 public void batchAddDevice(@Para
MyBatis 批量更新
最新发布
12-26
<think>我们被要求回答关于MyBatis批量更新操作的问题。根据用户提供的引用内容，我们可以总结出四种主要的批量更新实现方式： 1. 方式一：使用foreach标签生成多条update语句（需要数据库允许执行多条SQL） 2. 方式二：使用IN条件进行批量更新（一次更新多条记录，但只更新相同值） 3. 方式三：使用case when语句进行批量更新（可以更新不同字段的不同值，性能较好） 4. 方式四：使用MyBatis的批处理器（BatchExecutor）在代码中执行批量操作 下面我们将分别详细说明这四种方式。 ### 1. 使用foreach标签生成多条update语句 这种方式在MyBatis的映射文件中使用foreach循环生成多个update语句，用分号分隔。但需要注意的是，默认情况下MySQL不允许一次执行多条SQL语句，因此需要在数据库连接URL中添加`allowMultiQueries=true`参数。 **XML配置示例：** ```xml <update id="updateBatch" parameterType="java.util.List"> <foreach collection="list" item="item" index="index" open="" close="" separator=";"> update tableName <set> name=#{item.name}, name2=#{item.name2} </set> where id = #{item.id} </foreach> </update> ``` **注意：** - 需要数据库支持多条SQL语句执行（MySQL需要添加`&allowMultiQueries=true`）[^1]。 - 这种方式在数据量很大时可能会因为SQL语句过多而导致性能下降。 ### 2. 使用IN条件进行批量更新 这种方式适用于将一批记录的某个字段更新为相同的值。它通过WHERE条件中的IN子句来指定需要更新的记录。 **XML配置示例：** ```xml <update id="batchUpdate" parameterType="int"> update user set name = 'xiaohao' where id in <foreach item="id" collection="list" open="(" separator="," close=")"> #{id} </foreach> </update> ``` **注意：** - 这种方式只能将多个记录的某个字段更新为相同的值。 - 对于更新不同记录的不同字段值，这种方式不适用。 ### 3. 使用case when语句进行批量更新（推荐） 这种方式可以一次性更新多条记录的不同字段值，且性能较好。它通过构建一个带有多个`when`条件的`case`语句来实现。 **XML配置示例：** ```xml <update id="updateBatch" parameterType="Test"> update table_test a <trim prefix="set" suffixOverrides=","> <trim prefix="a.test_value=case" suffix="end,"> <foreach collection="list" item="i" index="index"> <if test="i.testValue != null"> when a.test_id = #{i.testId} then #{i.testValue} </if> </foreach> </trim> <trim prefix="a.remarks=case" suffix="end,"> <foreach collection="list" item="i" index="index"> <if test="i.remarks != null"> when a.test_id = #{i.testId} then #{i.remarks} </if> </foreach> </trim> </trim> where a.test_id in <foreach collection="list" item="t" open="(" close=")" separator=","> #{t.testId} </foreach> </update> ``` **注意：** - 这种方式可以同时更新多个字段，且每个记录的字段值可以不同。 - 在数据量大的情况下，性能比前两种方式更好[^3]。 ### 4. 使用MyBatis的批处理器（BatchExecutor） 这种方式在代码层面使用MyBatis的批处理器，通过`ExecutorType.BATCH`模式执行批量更新。 **Java代码示例：** ```java SqlSession sqlSession = sqlSessionFactory.openSession(ExecutorType.BATCH, false); YourMapper mapper = sqlSession.getMapper(YourMapper.class); try { for (YourEntity entity : entities) { mapper.update(entity); // 调用单条更新语句 } sqlSession.commit(); } finally { sqlSession.close(); } ``` **注意：** - 这种方式不需要在XML中写复杂的SQL，而是通过多次调用单条更新语句，然后由MyBatis进行批处理。 - 批处理执行效率较高，但需要数据库驱动程序的支持[^4]。 ### 总结 | 方式 | 适用场景 | 优点 | 缺点 | |------|----------|------|------| | foreach多条SQL | 更新字段不同且数据库允许执行多条SQL | SQL简单直观 | 需要数据库支持多条SQL，性能可能不佳 | | IN条件更新 | 批量更新相同值 | 简单高效 | 只能更新相同值 | | case when | 批量更新不同值 | 性能较好 | SQL较复杂 | | 批处理器 | 代码控制批量操作 | 代码清晰，支持事务 | 需要手动管理SqlSession | 根据实际需求选择合适的方式： - 如果更新字段值相同，推荐使用**IN条件更新**（方式二）。 - 如果更新字段值不同且数据量较大，推荐使用**case when方式**（方式三）。 - 如果对事务控制有要求，或者希望代码更简洁，可以使用**批处理器**（方式四）[^4]。 --- §§相关问题§§ 1. MyBatis批量更新时如何避免锁表？ 2. MyBatis的批处理器(BatchExecutor)和普通执行器有什么区别？ 3. 在MyBatis中如何实现批量插入操作？ </think> ### MyBatis 批量更新操作指南 MyBatis 实现批量更新主要有四种方式，根据性能、灵活性和数据库兼容性可选择不同方案： --- ### 方式一：多条 SQL 语句批量更新（需数据库支持） ```xml <update id="updateBatch" parameterType="java.util.List"> <foreach collection="list" item="item" separator=";"> UPDATE tableName SET name = #{item.name}, name2 = #{item.name2} WHERE id = #{item.id} </foreach> </update> ``` **特点**： - 需在 MySQL 连接 URL 添加 `&allowMultiQueries=true` 参数[^1] - 每条记录生成独立 UPDATE 语句 - **缺点**：数据库需支持多语句执行 --- ### 方式二：IN 条件批量更新相同值 ```xml <update id="batchUpdate"> UPDATE user SET name = 'xiaohao' WHERE id IN <foreach item="id" collection="list" open="(" separator="," close=")"> #{id} </foreach> </update> ``` **适用场景**：批量更新**相同字段为相同值**[^2] --- ### 方式三：CASE WHEN 动态更新（推荐高性能方案） ```xml <update id="updateBatch" parameterType="Test"> UPDATE table_test <trim prefix="SET" suffixOverrides=","> <trim prefix="test_value = CASE" suffix="END,"> <foreach collection="list" item="i"> <if test="i.testValue != null"> WHEN test_id = #{i.testId} THEN #{i.testValue} </if> </foreach> </trim> <trim prefix="remarks = CASE" suffix="END,"> <foreach collection="list" item="i"> <if test="i.remarks != null"> WHEN test_id = #{i.testId} THEN #{i.remarks} </if> </foreach> </trim> </trim> WHERE test_id IN <foreach collection="list" item="t" open="(" separator="," close=")"> #{t.testId} </foreach> </update> ``` **优势**： - 单条 SQL 完成批量更新 - 支持不同记录更新不同值 - 数据库兼容性好（无需特殊配置） - **性能最佳**，尤其大数据量场景 --- ### 方式四：批处理器（BatchExecutor） ```java // 获取批处理模式的SqlSession SqlSession sqlSession = sqlSessionFactory .openSession(ExecutorType.BATCH, false); YourMapper mapper = sqlSession.getMapper(YourMapper.class); try { for (YourEntity entity : entities) { mapper.update(entity); // 单条更新操作 } sqlSession.commit(); // 统一提交 } finally { sqlSession.close(); } ``` **特点**： - JDBC 层面批量执行 Helen - 需手动管理事务提交 - 数据库驱动需支持批处理[^4] --- ### 方案对比 | 方式 | 性能 | 灵活性 | 数据库兼容性 | 适用场景 | |--------------|--------|------------|--------------|------------------------| | 多语句更新 | 中 | 高 | 需特殊配置 | 小数据量，多字段更新 | | IN条件更新 | 高 | 低 | 通用 | 批量更新相同值 | | CASE WHEN | **最高** | **最高** | **通用** | 大数据量差异化更新 | | 批处理器 | 高 | 中 | 依赖驱动 | 代码控制批量操作 | > 💡 **推荐选择**： > - 大数据量且字段值不同 → **方式三（CASE WHEN）** > - 批量更新相同值 → **方式二（IN条件）** > - 需要事务控制 → **方式四（批处理器）** ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值