Kettle常用参数配置

Hello，World！！！

已于 2024-10-10 16:19:07 修改

阅读量2.2k

点赞数 9

文章标签： etl

于 2024-07-09 16:21:45 首次发布

本文链接：https://blog.youkuaiyun.com/m0_46411851/article/details/138486789

版权

一、时区

Kettle链接mysql出现报错：Connection failed. Verify all connection parameters and confirm that the appropriate driver is installed. The server time zone value 'ÖÐ¹ú±ê×¼Ê±¼ä' is unrecognized or represents more than one time zone. You must configure either the server or JDBC

连接失败。验证所有连接参数，并确认安装了适当的驱动程序。服务器时区值’�й��׼ʱ��’ 无法识别或表示多个时区。如果要使用时区支持，则必须配置服务器或JDBC驱动程序（通过“serverTimezone”配置属性）以使用更具体的时区值。

在这里插入图片描述
解决办法：在连接属性加上参数即可：serverTimezone = Hongkong

二、时间戳

使用kettle进行etl时，表输入预览出现报错，在做ETL的时候，连接MySQL读取含有timestamp类型的表(Kettle imestamp：无法从索引 22 处的结果集中获取时间戳)

org.pentaho.di.core.exception.KettleDatabaseException: 
Couldn't get row from result set

Timestamp : Unable to get timestamp from resultset at index 5
Value '37467412015-04-18 13:58:472015-04-18 13:58:4700000-00-00 00:00:001:138' can not be represented as java.sql.Timestamp


at org.pentaho.di.core.database.Database.getRow(Database.java:2397)
at org.pentaho.di.core.database.Database.getRow(Database.java:2368)
at org.pentaho.di.trans.steps.tableinput.TableInput.processRow(TableInput.java:145)
at org.pentaho.di.trans.step.RunThread.run(RunThread.java:62)
at java.lang.Thread.run(Thread.java:745)
Caused by: org.pentaho.di.core.exception.KettleDatabaseException:

在这里插入图片描述
连接MySQL读取包含timestamp类型的表，经google，说是MySQL本身的问题。解决方法也很简单，在Spoon数据库连接中，打开选项添加一行命令参数：

zeroDateTimeBehavior=convertToNull

在这里插入图片描述

三、tinyint类型转换

解决kettle中mysql的数据是tinyint的kettle查出来后变成boolean问题；jdbc会把tinyint 认为是java.sql.Types.BIT，然后kettle就会转为Boolean了，在连接上加上一句话tinyInt1isBit=false问题就解决了。

在这里插入图片描述

四、kettle之时间字段默认值为空或’0000-00-00’

发现从这行开始这个时间字段除了正常的时间数据以外还有NULL值，难道这类的值引起的错误，在查询了相关资料后，才知道jdbc(默认行为)认为null或’0000-00-00’这样的日期时间值是无效的。如果想避开这个问题，需要编辑jdbc的连接属性，添加如下属性值：zeroDateTimeBehavior=convertToNull

五、常用参数详解

命名参数	值	参数说明
useCompression	true	在传输时开启数据压缩，提高传输效率，优化客户端和MySQL服务器之间的通信性能。
rewriteBatchedStatements	true	让数据库重排Insert语句，合并多条插入语句成为一条，提交插入效率。常用于数据库连接为mysql。并保证5.1.13以上版本的驱动，才能实现高性能的批量插入。默认情况下会无视executeBatch()语句，把批量执行的一组sql语句拆散，一条一条地发给MySQL数据库，批量插入实际上是单条插入，直接造成较低的性能。只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL。另外这个选项对INSERT/UPDATE/DELETE都有效。
useServerPrepStmts	false	关闭服务器端编译，sql语句在客户端编译好再发送给服务器端。如果为true，sql会采用占位符方式发送。
useCursorFetch	true	用于指定是否启用游标获取的选项。当启用 “useCursorFetch” 选项时，Kettle 将会使用数据库游标来获取查询结果集，而不是一次性将整个结果集加载到内存中。这种方式可以减少内存的占用，特别是在处理大型结果集时，同时还可以提高查询性能，因为数据库不需要一次性返回所有结果，而是可以按需获取数据。
autoReconnect	true	数据库连接池的 autoReconnect 属性用于指示是否在连接断开时自动尝试重新建立连接。当数据库连接断开时，设置 autoReconnect 为 true 会告诉连接池自动尝试重新建立连接，而不需要用户手动介入
useSSL	false	该参数用于指示是否使用SSL（Secure Sockets Layer）加密协议来加密数据库连接。当该参数设置为true时，表示数据库连接将使用SSL进行加密，而当设置为false时，则表示不使用SSL加密。
serverTimezone	Asia/Shanghai	该参数用于指定数据库服务器所在的时区,作用是确保在数据库操作中正确处理和转换时间，以与数据库服务器所在的时区保持一致。