10倍以上提高Pentaho Kettle的MySQL写入速度

本文介绍了一种通过调整Pentaho Kettle的数据库连接参数来显著提高数据写入速度的方法,从每秒150条提升至2300条,适用于大规模数据处理场景。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

使用Pentaho Kettle做了个数据抓取入库的程序,大致这个样:



    使用文本调测的时候,速度大概7500条/秒,但是换上数据库后,速度只有150条/秒,对于20万左右的数据入库要超过20分钟,这让人没法接受。

   使用批量插入好像也没什么效果,依然慢



 求助Google,找到了2个参考:

   参考1:http://julienhofstede.blogspot.nl/2014/02/increase-mysql-output-to-80k-rowssecond.html

   参考2:http://forums.pentaho.com/showthread.php?142217-Table-Output-Performance-MySQL#9

   

描述的基本一致,根据参考调整了连接参数:

Java代码   收藏代码
  1. useServerPrepStmts=false  
  2. rewriteBatchedStatements=true  
  3. useCompression=true  

  数据写入速度马上提升到2300条/秒左右,开3个线程,写入速度就与文本写入差不多了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值