Kettle日志输出到文件方法

转 https://blog.youkuaiyun.com/WMSOK/article/details/78791103

 

 

网上有很多关于如何实现Kettle日志输出到日志文件的方法,但需要修改代码,重新编译,比较麻烦。 
这里面提供的方法可以解决两个问题:1、把日志输出到文件;2、日志的时间精确到毫秒;

有时Kettle运行的很快,1 秒之内就输出好几条记录,而默认日志的时间只到秒级,这样日志的顺序就是混乱的。用这种方法就可以部分解决,因为控制台的默认日志无法去除掉,需要改代码。

  1. 在Kettle的程序目录下data-integration/plugins/kettle5-log4j-plugin中有一个log4j.xml文件。
  2. 如果我们需要把日志输出到文件,就如下在添加第二段appender代码,(../log/kettle.log 所在的标签,相对于spoon.bat的路径)
  3. 然后在logger 标签中把ref=”logfile”;
  4. 如果只需要在控制台显示带有毫秒级别的日志,就只需要修改第一段appender的时间格式为%d{yyyy-MM-dd HH:mm:ss.SSS},然后把logger中把ref=”console”;
<!DOCTYPE log4j:configuration SYSTEM "log4j.dtd">
<log4j:configuration xmlns:log4j='http://jakarta.apache.org/log4j/'>

  <appender name="console" class="org.apache.log4j.ConsoleAppender">
    <param name="Target" value="System.out"/>
    <layout class="org.apache.log4j.PatternLayout">
    <param name="ConversionPattern" value="%d{yyyy-MM-dd HH:mm:ss.SSS} %-5p %c{1}:%L - %m%n" />
    </layout>
  </appender>

  <appender name="logfile" class="org.apache.log4j.FileAppender">
    <param name="File" value="../log/kettle.log"/>
    <layout class="org.apache.log4j.PatternLayout">
      <param name="ConversionPattern" value="%d{yyyy-MM-dd HH:mm:ss.SSS} %-5p %c{1}:%L - %m%n"/>
    </layout>
  </appender>

  <logger name="org.pentaho.di">
    <level value="on"/>
    <appender-ref ref="logfile" />
  </logger>
  <root>
    <priority value ="off"></priority>
    <appender-ref ref="console"></appender-ref>
  </root>
</log4j:configuration>

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.youkuaiyun.com/WMSOK/article/details/78791103

### Kettle 中文本文件输出到数据库表的方法Kettle (Pentaho Data Integration) 中,可以轻松实现将文本文件中的数据加载并写入到数据库表的操作。此过程通常涉及创建一个转换来读取文本文件并将数据插入目标数据库。 #### 创建转换以处理文本文件至数据库的传输 1. **启动 Spoon 并新建转换** 打开 PDI 客户端工具 Spoon 后,选择 `File` -> `New` -> `Transformation` 来创建一个新的转换项目。 2. **添加文本文件输入步骤** 在设计画布上右键点击空白处,在弹出菜单中选择 `Input` 下拉列表内的 `Text File Input` 选项,这会向工作区添加一个用于定义如何解析和读取文本文件的新组件[^1]。 3. **配置文本文件输入设置** 双击刚加入的工作流节点打开其属性对话框。在此界面内需指定待读取的具体文件路径以及字段分隔符等细节参数。对于固定宽度记录,则应调整相应布局设定以便正确解释每一列的内容[^5]。 4. **映射字段与数据库结构对应关系** 接下来需要建立源文件各字段同目的数据库表之间的一一对应的关联方式。可以通过拖拽连线的方式直观地完成这一匹配操作;也可以手动编辑 SQL 插入语句模板,确保每条记录都能被准确无误地存放到预期位置[^3]。 5. **选用合适的数据库输出插件** 根据所使用的具体 DBMS 类型(如 MySQL、PostgreSQL 或者 Oracle),从左侧树形控件栏里挑选相应的 “Table Output” 组件放置于流程图之中,并对其进行必要的初始化配置——比如提供有效的 JDBC URL 连接字符串及认证凭证等信息[^2]。 6. **运行测试验证功能正常运作** 设置完毕之后保存当前工程文档并通过点击工具栏上的绿色播放按钮触发整个 ETL 流程的实际执行动作。观察日志输出窗口确认是否存在任何异常状况报告,必要时返回修改直至达到满意效果为止[^4]。 ```sql INSERT INTO target_table ( id, worker_id, worker_name, user_id, user_name, grade, score, profess_score ) VALUES (?, ?, ?, ?, ?, ?, ?, ?); ```
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值