kettle调优之读写速度

最新推荐文章于 2025-06-18 23:33:09 发布

原创

最新推荐文章于 2025-06-18 23:33:09 发布 · 置顶 · 1.8k 阅读

4 ·

CC 4.0 BY-SA版权

本文分享了针对kettle数据迁移中读写速度慢的问题进行优化的四个方法：调整JVM大小，配置数据库连接参数，修改表输出的提交记录数量，以及开启多线程。这些优化策略皆为作者亲测有效，可根据实际需求选择应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

声明：本次优化，只针对数据迁移过程中，数据读写速度过慢，如恰好解决了其他的问题，纯属凑巧，以下优化方案，皆为亲测

一、调整JVM大小进行性能优化：

在kettle安装目录下编辑Spoon.bat文件，找到以下参数：

if"%PENTAHO_DI_JAVA_OPTIONS%"==""setPENTAHO_DI_JAVA_OPTIONS="-Xms2048m" "-Xmx2048m""-XX:MaxPermSize=1024m"

参考数值：

"-Xms2048m"：配置java虚拟机堆区内存初始内存分配的大小
"-Xmx2048m"：配置java虚拟机堆区内存可被分配的最大上限
"-XX:MaxPermSize=1024m"：配置java对非堆区分配的内存的最大上限

注意：
开发过程中，通常会将 -Xms 与 -Xmx两个参数的配置相同的值，其目的是为了能够在java垃圾回收机制清理完堆区后不需要重新分隔计算堆区的大小而浪费资源。在配置之前一定要慎重的考虑一下自身软件所需要的非堆区内存大小，因为此处内存是不会被java垃圾回收机制进行处理的地方。并且更加要注意的是最大堆内存与最大非堆内存的和绝对不能够超出操作系统的可用内存。

二、配置数据库连接参数：

打开表输入和表输出的数据库连接添加以下参数：表输入或表输出=>编辑数据库连接=>选项

命名参数									值						参数说明
useCompression							true					在传输时开启数据压缩 ，提高传输效率
rewriteBatchedStatements				true					让数据库重排Insert语句，合并多条插入语句成为一条，提交插入效率
useServerPrepStmts