【转】关于jdbc向mysql和postgresql批量插入大量数据时候的优化！

最新推荐文章于 2025-06-09 00:03:02 发布

转载最新推荐文章于 2025-06-09 00:03:02 发布 · 1.6k 阅读

2 ·

CC 4.0 BY-SA版权

原文链接：https://codeleading.com/article/2794704035/

文章标签：

#Postgres #PostgreSQL #批量 #插入 #insert

PostgreSQL 专栏收录该内容

211 篇文章

订阅专栏

https://codeleading.com/article/2794704035/

本文转自如上网址。

1.对于mysql数据库，driverurl中加入:allowMultiQueries=true&rewriteBatchedStatements=true; 这样在使用jdbctemplate插入的时候，类似:

private void insertData(JdbcTemplate insertJdbcTemplate, String insertCoreSql, List<Map<String, Object>> dataList, int cols) {
        insertJdbcTemplate.batchUpdate(insertCoreSql, new BatchPreparedStatementSetter() {
            @Override
            public void setValues(PreparedStatement preparedStatement, int i) throws SQLException {
                Map<String, Object> dataMap = dataList.get(i);
                for (int index = 1; index <= cols; index++) {
                    preparedStatement.setObject(index, dataMap.get(index + ""));
                }
            }
 
            @Override
            public int getBatchSize() {
                return dataList.size();
            }
        });

用mybatis批量插入的时候，类似foreach转成insert into values(),(),(),()...这总， 性能有巨大提升！

2.对于postgresql数据库，或基于postgresql的greenplum数据仓库，driverurl中加入:reWriteBatchedInserts=true,这个是从postgresql的jdbc高版本驱动(9.4.1209开始加，但是有bug)才加入的特性，详细见：https://jdbc.postgresql.org/documentation/changelog.html#version_42.2.2，建议升级驱动到42.2.2版本，否则即使你将sql写成insert into values(),(),(),()这种形式，一样被转化成单条插入。