这是官网对kettle监控系统性能介绍的链接:
为了方便多次查看,边将官网上纯英文版本的翻译了下
我们可以通过以下功能监控性能:
启用日志记录;
监控Job和Transformation结果;
使用检查点重新启动作业;
通过第三方监控SNMP集成Pentaho;
诊断技巧
应用Kettle日志记录最佳实践。
1、日志记录:
数据集成中的日志功能能够更容易地排除复杂的错误和故障,并度量性能。使用以下步骤打开数据集成中的日志记录:
-
创建一个名为pdi_logging的数据库或表空间。
-
启动Spoon,并打开一个转换或作业,为其启用日志记录。
-
进入编辑菜单,选择设置对话框。
-
选择Logging选项卡。
-

-
在左边的列表中,选择要记录的函数。
-
单击日志连接字段旁边的“新建连接”按钮。出现数据库连接对话框。
-
输入数据库连接详细信息,然后单击“测试连接”以确保它们是正确的。完成后单击OK。
-
查看要记录的字段列表,并确保选择了正确的字段。
注意:监视LOG_FIELD字段会对Pentaho服务器性能产生负面影响。但是,如果在配置转换日志记录时没有选择所有字段,包括LOG_FIELD,那么将不会在operation Mart日志记录中看到关于此转换的信息。
日志轮转
Pentaho服务器使用Apache log4j Java日志框架存储服务器反馈。log4j.xmll中的默认设置对于某些生产环境,可能太过冗长,并且太大。按照这些说明修改设置,使Pentaho服务器日志文件旋转和压缩:
-
停止所有相关服务器。
-
为log4j包下载Apache Extras附带的ZIP文档: Apache Logging Services
-
从ZIP中解压apache-log4j-extras.jar文件,并复制到服务器/pentaho-server/tomcat/webapps/pentaho/WEB-INF/lib/。
-
编辑log4j。Pentaho服务器的xml设置文件。这个XML文件位于server/pentaho-server/tomcat/webapps/pentaho/WEB-INF/classes/。
-
从配置中删除所有PENTAHOCONSOLE appender。
-
修改PENTAHOFILE appenders以匹配您喜欢的日志旋转条件,示例:
-
保存并关闭文件,然后启动所有受影响的服务器来测试配置。
Daily (date-based) log rotation with compression:(基于日期的日志旋转与压缩) <appender name="PENTAHOFILE" class="org.apache.log4j.rolling.RollingFileAppender"> <!-- The active file to log to; this example is for Pentaho Server.--> <param name="File" value="../logs/pentaho.log" /> <param name="Append" value="false" /> <rollingPolicy class="org.apache.log4j.rolling.TimeBasedRollingPolicy"> <!-- See javadoc for TimeBasedRollingPolicy --> <param name="FileNa

本文档介绍了如何监控和优化Kettle系统性能,包括启用日志记录、监控作业和转换、使用检查点重启、SNMP集成以及诊断技巧。日志记录通过启用数据库日志、设置日志轮转和调整Pentaho服务器日志配置来实现。监控作业和转换可通过PDI状态页面查看。检查点功能允许在作业失败时从特定点重新启动。SNMP集成允许与第三方工具集成以监控DI事件。同时,文章提供了一些诊断和最佳实践,如调整服务器和超时设置,以及设置结果行限制和超时。
最低0.47元/天 解锁文章

370

被折叠的 条评论
为什么被折叠?



