Increasing performance of inserting large amount of data simutaneously.

最新推荐文章于 2019-11-25 13:38:17 发布

solaris_navi

最新推荐文章于 2019-11-25 13:38:17 发布

阅读量692

点赞数

CC 4.0 BY-SA版权

分类专栏： Java Database 文章标签： performance date insert sql string table

本文链接：https://blog.youkuaiyun.com/solaris_navi/article/details/7646967

Java 同时被 2 个专栏收录

63 篇文章

订阅专栏

Database

9 篇文章

订阅专栏

本文探讨了在处理大量数据插入MySQL数据库时，通过优化批量执行和分批执行策略来提升性能的方法。包括利用PreparedStatement预编译语句、设置合适的数据大小限制以及通过分批执行减少内存使用和提高效率的实践。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

String sql;
PreparedStatement ps;

System.out.println("please wait...");

Date dt1 = new Date();

sql = "INSERT INTO TABLE(COLUMNS) VALUES (?,?,?,?,?,?,?,?,?)";		
ps = conn.prepareStatement(sql);

for(int i=0;i<htlist.size();i++) //htlist.size()
{	
	
	HanaTrace ht = htlist.get(i);

	ps.setString(1,ht.getId1());
	...
	ps.addBatch(); // << key!!!
	
	if(i % 1000 == 0)
		System.out.println(i);
}

ps.executeBatch();// << key!!!

Here is an update:

When putting too many rows into Batch, the Batch will meet the limit.

Thus, you need to executeBatch Sequentially.

For example:

for(int i=0;i<j;i++)
				{					
					for(int k=1;k<=numberofcol;k++)
					{
						ps.setInt(k, r.nextInt(5000));
					}
					ps.addBatch();
					
					if(i % 5000 == 0)
					{
						ps.executeBatch();
						ps.clearBatch();
					}
				}
				
				ps.executeBatch();
				ps.clearBatch();