kettle使用中要注意的问题及kettle性能调优

最新推荐文章于 2025-06-18 23:33:09 发布

原创

最新推荐文章于 2025-06-18 23:33:09 发布 · 2.7k 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#kettle性能调优 #kettle日志级别 #kettle配置文件 #kettle调度 #kettle错误处理

本文详细介绍了Kettle在使用过程中应注意的命名规则、配置文件设置、日志管理、错误处理策略以及调度选择。针对性能调优，重点讨论了数据库查询、运算和排序类步骤的优化方法，提出了通过调整Rowset、数据库索引和日志级别来提升性能的建议。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、命名规则

作业、转换、步骤的命名规则有可能会出现两种极端情况：

把命名规则设计的过于繁琐
根本没有命名规则

显然这两种都不可行。

作业和转换建议的命名规则：

1.转换:tr_${阶段名}_${表名}/${业务名}_customer

2.作业:jb_${阶段名}_${表名}/${业务名}_customer

二、kettle配置文件

.kettel/kettle.properties:

此文件包含转换或作业里需要的变量，spoon启动后会自动加载该配置文件里的自定义参数。

ps：kettle里一些常量可以写在配置文件里，在kettle里用${xxx}引用

#长时更新时间(job为十分钟定时，此时应多扫描5分钟)
sql_limit= DATE_SUB( NOW(), INTERVAL 15 minute )

#短时更新时间(job为十分钟定时，此时应多扫描5分钟)
urgent_sql_limit= DATE_SUB( NOW(), INTERVAL 15 minute )

#全盘扫描开始时间(如果遭遇宕机以及强制停止kjb进程，需设置为kjb进程停止时间之前)
start_time = '2019-01-01 00:00:00'

#数据库
mysql_host = xxx
mysql_pluto_report_datasource = xxx
mysql_pluto_user_datasource = xxx
mysql_pluto_payment_datasource = xxx
mysql_pluto_map_route_planning_datasource = xxx
mysql_port