kettle 记录日志功能实现

最新推荐文章于 2025-10-31 04:52:12 发布
原创 最新推荐文章于 2025-10-31 04:52:12 发布 · 1w 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了Kettle的日志功能，包括控制台打印和后台日志表两种实现形式。详细说明了如何设置日志记录表，创建日志表SQL并执行，以及如何通过数据库查看运行日志记录。

日志是数仓很重要的组成部分，能记录到每个job，每一步的执行起止时间，错误信息。kettle有强大的日志功能。实现形式有控制台打印，后台日志表。
控制台打印如下
在这里插入图片描述

2、日志记录表
在这里插入图片描述
双击job中的空白区域，进入日志界面如下下图所示：
在这里插入图片描述

日志表名可以任意取，然后日志表字典根据需要确定。然后选择sql，得到创建日志表sql
在这里插入图片描述
然后执行，日志表已经创建好了。
在这里插入图片描述
然后保存，执行job。
在这里插入图片描述

通过数据库查看运行日志记录


                

                
                
        

    



  


        

            

                      
                        最低0.47元/天 解锁文章
                          
                      
            

        


    



                



	

		

			

				
					
ES系列：数据保存时间周期、日志配置

				
			

			

				

					NIO4444
				

				

					05-20
					
					8963
					
				

			

		

		

			
				
日志配置



es使用log4j2来记录日志，log4j2可以通过log4j2.properties文件来进行配置。比如下面的这份配置文件：




appender.rolling.type = RollingFile

appender.rolling.name = rolling

appender.rolling.fileName = ${sys:es.logs.base_path}${sys:file.separator}${sys:es.logs.cluster_name}.l...

			
		

	



                

            
              



	

		

			

				
					
kettle mysql日志同步_使用KETTLE从mysql同步增量数据到MySQL(1)

				
			

			

				

					weixin_29092579的博客
				

				

					02-26
					
					1074
					
				

			

		

		

			
				
在线QQ客服：1922638专业的SQL Server、MySQL数据库同步软件初次使用ETL工具抽取并同步数据，搜索之后决定使用kettle，使用后感觉很方便。本次是基于一个很小的需求，需要把老系统的mysql数据在一段新老系统共存时期内产生的数据实时传输到新系统oracle中，因为实时性要求不算高，所以我没有做触发器这些对接，只单纯的使用kettle做了一个抽取转换传输，定时执行。下面记录一下...

			
		

	



              


  
  
              

                


	

		

			

				
					
【Kettle从零开始】第十弹之Kettle运行日志介绍

					
热门推荐

				
			

			

				

					RotKang
				

				

					03-11
					
					4万+
					
				

			

		

		

			
				
关于Kettle日志是很重要的一部分，因为不管是任何信息都只能通过日志的方式来查找自己所关心的信息。
日志存储有两种方式：一种是文本文件存储日志，另一种是资源库存储日志(注：Kettle资源库日志分两类，一类是Job日志，一类是Trans日志)。
日志级别有七类：




序号


级别


描述




1


没有日志（Nothing）


基本

			
		

	





	

		

			

				
					
Kettle运行日志记录

				
			

			

				

					08-09
				

			

		

		

			
				
NULL
博文链接：https://qq85609655.iteye.com/blog/2173882

			
		

	



		

			
		



	

		

			

				
					
ETL 流程审计日志分析：pentaho-kettle 日志数据挖掘与合规报告

					
最新发布

				
			

			

				

					gitblog_00483的博客
				

				

					10-31
					
					286
					
				

			

		

		

			
				
在数据集成和变换场景中，ETL（Extract-Transform-Load，数据抽取-转换-加载）流程的审计日志是确保数据处理合规性、排查异常和优化性能的关键依据。pentaho-kettle（一款基于Java的数据集成工具）通过完善的日志系统记录了数据处理全流程的关键信息。本文将从日志采集机制、数据结构解析、合规报告生成三个维度，详解如何利用pentaho-kettle的日志系统实现审计追踪与...

			
		

	





	

		

			

				
					
Nacos频繁打印日志

				
			

			

				

					Jak的博客
				

				

					09-15
					
					3585
					
				

			

		

		

			
				
一.nacos频繁打印日志

项目集成nacos几天后发现，nginx访问日志，还有nacos日志频繁打印，威胁磁盘空间，但是有些日志完全，就不需要记录

这些日志，可以注释，nacos\conf\nacos-logback.xml中配置，来关闭不要打印的日志。

日志最多排名


1.naming-server
2.naming-raft
3.config-memory
4.config-server




或者将里面的日志级别改为warn或者error





参考一、参考二、参考三
...

			
		

	





	

		

			

				
					
kettle日志记录

				
			

			

				

					ajsyipsc40270的博客
				

				

					09-08
					
					1033
					
				

			

		

		

			
				
环境描述：
现在一个项目有很多个作业，需要知道每次跑批后哪些ktr跑成功，哪些失败了
问题解决：
下面是一个具体的操作流程
首先建立数据库表

CREATE TABLE test_1(id INT,NAME VARCHAR(10));

INSERT INTO test_1 VALUES(1,'hsj');

CREATE TABLE test_2(id INT  P...

			
		

	





	

		

			

				
					
elasticsearch来存储你的日志

				
			

			

				

					tao_wei162的博客
				

				

					09-29
					
					793
					
				

			

		

		

			
				
用ElasticSearch存储日志 




介绍

如果你使用elasticsearch来存储你的日志，本文给你提供一些做法和建议。

如果你想从多台主机向elasticsearch汇集日志，你有以下多种选择：
•Graylog2 安装在一台中心机上，然后它负责往elasticsearch插入日志，而且你可以使用它那个漂亮的搜索界面~
•Logstash 他有很多特性，包...

			
		

	





	

		

			

				
					
kettle分页抽取、插入实现.zip

				
			

			

				

					05-14
				

			

		

		

			
				
在Kettle中，我们可以利用Job和Transformation来实现这一功能。  1. 分页抽取：在Kettle中，我们通常使用"Table Input"步骤来从数据库中读取数据。为了实现分页，我们需要设置SQL查询语句，包含`LIMIT`或`OFFSET`...

			
		

	





	

		

			

				
					
kettle实现时间戳增量同步案例

				
			

			

				

					01-20
				

			

		

		

			
				
【Kettle实现时间戳增量同步案例】  在大数据处理与ETL（Extract, Transform, Load）工作中，Kettle（又称Pentaho Data Integration，简称PDI）是一个强大的工具，它允许用户设计、执行和调度复杂的数据转换任务。在...

			
		

	





	

		

			

				
					
kettle7.0下实现数据库迁移

				
			

			

				

					04-19
				

			

		

		

			
				
 - **错误处理**：设置适当的错误处理策略，例如跳过错误行或记录错误日志。  总结，Kettle 7.0提供了强大且灵活的数据库迁移工具，无论是Oracle到MySQL，还是其他数据库间的迁移，都能以可视化的方式高效完成。理解...

			
		

	





	

		

			

				
					
使用Kettle获取MySQL日志文件名称

				
			

			

				

					05-01
				

			

		

		

			
				
使用Kettle获取MySQL日志文件名称

			
		

	





	

		

			

				
					
KETTLE日志记录、任务巡检、邮件发送

				
			

			

				

					qq_14981377的博客
				

				

					11-30
					
					3061
					
				

			

		

		

			
				
项目中大部分的定时任务采用的是KETTLE这种开源工具来进行数据共享和推送的，任务执行情况需要人工定期巡检，任务较多，容易疏漏，本文记录了一种kettle巡检的方式，读者可以参考一下。提示：以下是本篇文章正文内容，下面案例可供参考路漫漫其修远兮，吾将上下而求索。

			
		

	





	

		

			

				
					
kettle日志解析_Kettle运行日志记录

				
			

			

				

					weixin_42440934的博客
				

				

					12-24
					
					6572
					
				

			

		

		

			
				
原创文章，转载请注明出处：http://qq85609655.iteye.com/blog/2173882在kettle.properties中，可以定义参数KETTLE_JOB_LOG_DB=dw1KETTLE_JOB_LOG_TABLE=bi_etl_job_log_tableKETTLE_TRANS_LOG_DB=dw1KETTLE_TRANS_LOG_TABLE=bi_etl_trans_...

			
		

	





	

		

			

				
					
spring Boot logback的使用与配置

				
			

			

				

					别浪
				

				

					06-19
					
					826
					
				

			

		

		

			
				
什么是日志

能够描述系统运行行状态的所有时间都可以算作日志 --> 用户下线 接口超时 数据库崩溃
什么是日志框架

是一套实现日志输出的工具包
日志框架的能力

定制输出目标
	定制输出格式
	日志框架的选择
	携带上下文信息 (类路径、时间戳、线程、调用对象等等)
	运行选择性输出
	灵活的配置
	优异的性能
常见日志框架

JCL、jboos-logging、Log4j、L...

			
		

	





	

		

			

				
					
笔记：Kettle 日志组件

				
			

			

				

					wallace2018的博客
				

				

					07-05
					
					659
					
				

			

		

		

			
				
Kettle（现称为Pentaho Data Integration）的日志组件用于记录ETL作业和转换的执行过程，帮助用户监控任务状态、排查问题。日志信息通常包括执行步骤、错误详情、数据行处理情况等。使用“写日志”步骤在转换中添加“写日志”步骤（Write to Log），可自定义日志内容和格式。Log level：选择日志级别。：指定输出的变量或静态文本。示例代码// 在 JavaScript 步骤中手动记录日志var message = "当前行数: " + row_count;

			
		

	





	

		

			

				
					
kettle之日志有关方面的总结

				
			

			

				

					weixin_40479337的博客
				

				

					05-30
					
					2196
					
				

			

		

		

			
				
job
1.job日志
job日志有三种：
作业日志表：整体的记录
作业项日志表：每个项目的日志
日志通道日志表：
第一次配置，因为数据库中还没有这个表，需要手动点击sql创建表，然后执行sql。
日志模式：oracle等数据库种有模式概念，mysql不需要填写
记录时间间隔：运行的时候多久写一次，在作...

			
		

	





	

		

			

				
					
kettle的日志

				
			

			

				

					weixin_33709609的博客
				

				

					03-19
					
					286
					
				

			

		

		

			
				
http://blog.sina.com.cn/s/blog_76a8411a01010u2h.html

			
		

	





	

		

			

				
					
Kettle配置自动发送邮件并在数据库中记录运行日志

				
			

			

				

					Angelina7的博客
				

				

					04-20
					
					8440
					
				

			

		

		

			
				
①通过在WINDOWS下的任务计划程序，在D:\kettle下创建一个bat文件，在D:\kettle\dispatchPRODTCT\mail\创建一个JOB调用KTR文件来实现定时发送邮件的任务。
②每一次执行操作记录日志：data_etl.t_mail_task
步骤说明

1.1，配置数据库连接，创建一个转换




1.2双击表输入，注意：表连接里不能出现truncat

			
		

	





	

		

			

				
					
基于Kettle实现多表批量同步与日志记录

				
			

			

				

					
				

			

		

		

			
				
它充分展现了Kettle作为开源ETL工具的强大功能与灵活性，为企业在数据集成、系统迁移、BI报表支撑等方面提供了坚实的技术底座。掌握此类方案，对于从事数据开发、大数据平台建设、系统架构设计等相关岗位的专业人员...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

  

	
    

      

      

      

        
        

          
          

            

              成就一亿技术人!
            

            

              拼手气红包6.0元
            

          

        

        

          

            还能输入1000个字符
          

          

             
          

          

            

              红包
              添加红包
            

            

              表情包
              插入表情
              

                

              

            

            

              表情包
              代码片
              

                
              

            

            

              
              
              
              
              
              
              
            

          

        

      

    

		

			

			

			
			

					 条评论被折叠 查看
			

			

				
			

		

	

	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  





	
打赏作者

	

		

		
			
		
		

		

			
菜菜的中年程序猿

			
你的鼓励将是我创作的最大动力

		

	

	

			

	

	

    ¥1
    ¥2
    ¥4
    ¥6
    ¥10
    ¥20
	

	

		

			

				

					扫码支付：¥1
				

				

					

					
					获取中
					

				

				

					
					
					扫码支付
				

			

		

		

			
您的余额不足，请更换扫码支付或充值

			
打赏作者

		

	



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值