java批量执行之分批处理

最新推荐文章于 2025-10-10 22:32:47 发布

原创最新推荐文章于 2025-10-10 22:32:47 发布 · 5.3k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#java #mysql #list

java 同时被 2 个专栏收录

88 篇文章

订阅专栏

mysql

29 篇文章

订阅专栏

本文探讨了在数据库操作中批量执行的效率优势，特别是在大量数据处理时。通过对比单次与批量插入，展示批量操作如何显著减少执行时间。同时，文章也提到了批量插入的限制及其可能引发的问题，如数据库报错，并提供了分批处理的代码示例。

批量插入比单次插入快

比如有十条数据单条执行需要操作十次数据库，批量的话执行一次数据库的操作就可以。

对应的sql语句：

单次：INSERT INTO table_name (列1, 列2,...) VALUES (值1, 值2,....)；

INSERT INTO table_name (列1, 列2,...) VALUES (值3, 值4,....)；

批量:INSERT INTO table_name (列1, 列2,...) VALUES (值1, 值2,....),(值3, 值4,....)；

大家可以用sql直接去数据库执行做一下对比，在数据库越大的时候，他们的速度对比越明显。

我原来做过sql数据导入，同样的数据不同的sql，单次插入的执行了800s，分批的50s内完成。这只是一个大概的印象，大家可以自己做尝试。

批量插入的缺陷

优点是可以一次性插入很多条数据，但是缺点也有，这个很多条数据是有限制的，不能无限大，数据库太多的话数据库直接报错，导入执行失败，我记得提示的是（这条sql执行数据大于2M，无法执行），大概这样的提示。

所以为了效率，也为了保证程序的正常执行，就需要分批的批量插入。

比如一次要插入8000条数据，数据库受不了，那就一次插入500条。

分批代码

这个代码是某个博客找的，原博客找不到了，也不贴了。不过分批的方法有很多，这只是一种。

  //分批处理
                if (CollectionUtils.isNotEmpty(allList)) {
                    int pointsDataLimit = 500;//定义分批大小
                    List<User> newList = new ArrayList<User>();
                    for (int i = 0; i < allList.size(); i++) {//分批次处理
                        newList.add(allList.get(i));
                        if (pointsDataLimit == newList.size() || i == allList.size() - 1) {
                            userDao.insertAllBy(newList);//批量插入
                            newList.clear();
                        }
                    }
                }

总结：优化既要保证效率，更要注重正确性。