kettle-写日志

最新推荐文章于 2025-07-05 20:00:00 发布
原创 最新推荐文章于 2025-07-05 20:00:00 发布 · 2.8k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客提及了日志控件设置及结果，围绕信息技术中日志相关操作展开。

日志控件设置

结果

 

kettle从入门到精通 第四课 写日志
zhangjin1222的博客
01-27 1577
Nr of rows to print：日志输出行数限制条数，设置为0时，输出一行，设置位1时，输出两行，以此类推。4、添加一个输入组件 生产记录 设置好连线，连线在kettle 里面术语叫做跳，点击连线可以启用/禁用。1、从核心对象里面找到写日志组件，直接拉到右侧工作区域，或者直接双击写日志控件，也会跑到右侧工作区域。5、点击工作区域左上角的运行按钮，弹出窗口点击启动，即可运行当前转化文件，在运行之前需要先保存文件。2、我们在编辑转换文件或者作业文件需要调试时，就需要用到写日志组件。
Nacos频繁打印日志
Jak的博客
09-15 3573
一.nacos频繁打印日志 项目集成nacos几天后发现，nginx访问日志，还有nacos日志频繁打印，威胁磁盘空间，但是有些日志完全，就不需要记录 这些日志，可以注释，nacos\conf\nacos-logback.xml中配置，来关闭不要打印的日志。 日志最多排名 1.naming-server 2.naming-raft 3.config-memory 4.config-server 或者将里面的日志级别改为warn或者error 参考一、参考二、参考三 ...
kettle开发篇-写日志-Day19
qq_29061315的博客
12-17 1646
前言： 在前面我们讲了很多关于字段和行列的操作，今天我们来讲讲应用方面的操作，比如写日志、发送邮件等。因为我们知道我们将kettle 转换开发完成，我们都是通过定时任务来调度作业运行。从而实现自动化同步数据，但是在数据运行过程中总有偶尔突发情况，如因网络、字段长度不够导致数据异常等。此时最好追溯问题的办法就是查看日志，今天我们就重点来讨论写日志这个组件。 一、写日志 写日志主要是在调试的时候...
Kettle运行日志记录
08-09
NULL 博文链接：https://qq85609655.iteye.com/blog/2173882
kettle作业中的js如何写日志文件
weixin_34240657的博客
05-26 388
在kettle作业中JavaScript脚本有时候也扮演非常重要的角色，此时我们希望有一些日志记录。下面是job中JavaScript记录日志的方式。 job的js写日志的方法。 得到日志输出实例 org.pentaho.di.core.logging.LogWriter.getInstance(); 按照日志的级别输出： public void logMinimal(S...
Kettle的Web端管理工具Kettle-Manager.zip
07-19
也可以配置为不写日志文件。作业的运行状态会定时反映到管理界面，我们可以通过多种条件筛选我们需要的作业进行批量运行或停止。本系统是基于数据库资源库设计的，暂时不考虑支持文件资源库。本系统还附带了一个...
KETTLE工具的相关jar包 下载直接使用即可
12-11
在实际应用中，可能还需要配置Kettle的配置文件，如`kettle.properties`，`log4j.properties`等，来定制Kettle的行为和日志输出。同时，数据源的配置文件，如数据库连接字符串，也需要正确设定。 总的来说，Kettle...
kettle-8.3.0.0：资源库、运行方式与日志
浅汐
12-26 1149
资源库 资源库是用来保存转换任务的，用户通过图形界面创建的的转换任务可以保存在资源库中。 资源库可以使多用户共享转换任务，转换任务在资源库中是以文件夹形式分组管理的，用户可以自定义文件夹名称。 kettle资源库元数据 •资源库 资源库包括文件资源库、数据库资源库 Kettle 4.0 以后资源库类型可以插件扩展 •XML 文件 .ktr 转换文件的XML的根节点必须是 <tra...
kettle-neo4j-cypher-output:使用带有参数的Cypher将数据输出到Neo4j
05-09
6. **日志记录**：记录每个操作的详细信息，方便调试和审计。 压缩包文件名称 "kettle-neo4j-cypher-output-master" 暗示这是一个开源项目，可能包含了源代码、文档、示例和安装指南等内容。用户可以通过解压这个...
kettle-8.2.0.0源码
11-21
8. **日志和监控**：Kettle提供详细的日志记录和执行监控功能。源码中的`org.pentaho.di.core.logging`包包含了日志框架，帮助开发者跟踪和调试数据处理过程。 9. **分布式执行**：Kettle支持分布式和集群部署，如...
kettle使用log4j管理输出日志
09-18
参照了几个网上大神配置，部分教程的描述有误，最终调试完成，可以实现kettle日志输出，测试版本kettle data-integration-6.0，jdk1.7，日志位置在你的data-integration-6.0安装目录下，logs。 需要替换的文件为，Kettle的程序目录下data-integration-6.0\plugins\kettle5-log4j-plugin中有一个log4j.xml文件。
笔记：Kettle 日志组件
最新发布
wallace2018的博客
07-05 620
Kettle（现称为Pentaho Data Integration）的日志组件用于记录ETL作业和转换的执行过程，帮助用户监控任务状态、排查问题。日志信息通常包括执行步骤、错误详情、数据行处理情况等。使用“写日志”步骤在转换中添加“写日志”步骤（Write to Log），可自定义日志内容和格式。Log level：选择日志级别。：指定输出的变量或静态文本。示例代码// 在 JavaScript 步骤中手动记录日志var message = "当前行数: " + row_count;
KETTLE日志记录、任务巡检、邮件发送
qq_14981377的博客
11-30 3031
项目中大部分的定时任务采用的是KETTLE这种开源工具来进行数据共享和推送的，任务执行情况需要人工定期巡检，任务较多，容易疏漏，本文记录了一种kettle巡检的方式，读者可以参考一下。提示：以下是本篇文章正文内容，下面案例可供参考路漫漫其修远兮，吾将上下而求索。
kettle介绍-Step之Write to log
weixin_43398232的博客
04-07 1043
写日志步骤是将输入步骤的信息打印在日志窗口，供用户直接查看Step name：步骤的名称，在单一转换中，名称必须唯一。Log level：设置日志的显示级别。没有日志(Nothing)：完成没有任何日志输出。错误日志(Error)：只输出错误信息。最小日志(Minimal)：只输出打开转换、开始执行转换、转换完成和错误信息。基本日志(Basic)：每一个步骤执行完后输出一条统计信息，默认是基本日志。详细日志(Detailed)：每一个步骤都会输出开始、结束等信息。
kettle 记录日志功能实现
whandgdh的博客
09-17 1万+
日志是数仓很重要的组成部分，能记录到每个job，每一步的执行起止时间，错误信息。kettle有强大的日志功能。实现形式有控制台打印，后台日志表。 控制台打印如下 2、日志记录表 双击job中的空白区域，进入日志界面如下下图所示： 日志表名可以任意取，然后日志表字典根据需要确定。然后选择sql，得到创建日志表sql 然后执行，日志表已经创建好了。 然后保存，执行job。 通过数据库查看运行日志记录 SELECT t.* FROM etl_log t; 从日志中可以看到运行时间，状态，但是对
写日志——kettle开发16
java程序员的蜕变之路
05-27 192
kettle 入门（一）输入输出写日志 / 插入更新
热门推荐
corey_qz的专栏
01-24 1万+
新建转换（不是新建作业） 然后我们先在主对象树里面设置好db连接 测试一下 就可以继续了。 里面有各种数据库的连接类型 根据自己的需求  选择数据库连接 配置好之后 我们就开始写kettle脚本 （在里面写具体的sql脚本就可以） 现在核心对象里面找到表输入 拉入到我们新建的转换里 然后是表输出 然后将我们这个两个插件连接到一起 在核心对象找出 文本文件输出 ...
Kettle8.2应用组件之替换NULL和写日志
在记录自己编程工作与编程生活的同时，给那些困于无法入门编程世界的朋友提供一点帮助，在有限的生命中给有需要的人尽一点绵薄之力。
04-18 1255
Kettle8.2应用组件之替换NULL和写日志一、相关说明二、设计转换三、转换配置四、运行转换五、结果查看 一、相关说明 替换NULL组件说明： 替换NULL值就是把null转换为其它的值。NULL值不好进行数据分析。 写日志组件说明： 写日志主要是在调试的时候使用，把日志信息打印到日志窗口。 需求说明： 从数据库中的sys_user表读取数据，将update_by字段为NULL的替换成admin，并将执行转换时的详细日志通过写日志组件向日志输出窗口打印出所有的数据信息。 测试数据源和如
是Docker部署引发部署Kettle-webspoon异常
07-01
<think>我们正在解决Docker部署Kettle-WebSpoon时出现的异常，主要涉及两个错误：1.org.eclipse.swt.SWTException:Graphic isdisposed2. Exceptionwhile disposingshell:Shell {Spoon- [FileRepository] [没有名称]}根据引用[1]提供的Docker Compose配置，用户使用的是hiromuhota/webspoon镜像。这类错误通常与SWT图形库在无头环境（如Docker容器）中的初始化或释放有关。解决方案如下：###一、核心修复：调整Docker运行参数由于SWT需要图形环境，而Docker容器默认没有，需添加以下配置：1. **启用X11转发**（使用宿主机的显示服务）：```bashdocker run-it--rm\-eDISPLAY=$DISPLAY \-v /tmp/.X11-unix:/tmp/.X11-unix \#共享X11套接字--namewebspoon\-p8090:8080 \hiromuhota/webspoon:latest```注意：需先在宿主机执行`xhost +`允许容器连接[^1]。2.**使用虚拟显示缓冲（推荐）**：安装Xvfb（虚拟帧缓冲）并配置：```Dockerfile#在Dockerfile中添加RUNapt-getupdate &&apt-getinstall -y xvfbENTRYPOINT["xvfb-run", "--auto-servernum", "--server-num=1","catalina.sh","run"]```或直接在运行命令中嵌入：```bashdocker run-it --rm \--name webspoon\-p8090:8080\hiromuhota/webspoon:latest \/bin/bash-c"xvfb-run--auto-servernum--server-num=1catalina.sh run"``` ###二、解决资源提前释放问题（Graphic isdisposed）此错误通常发生在UI线程尝试访问已释放的图形资源。在WebSpoon中可通过以下方式避免：1.**增加JVM内存**：在`CATALINA_OPTS`中调整堆内存和非堆内存：```bashenvironment:-CATALINA_OPTS=-Xmx2048m-XX:MaxPermSize=512m```完整docker-compose.yml示例：```yamlservices:kettle:image: hiromuhota/webspoon:latestcontainer_name: kettlerestart:alwaysports:- "8090:8080"volumes:- ./data:/dataenvironment:- KETTLE_HOME=/data-CATALINA_OPTS=-Xmx2048m-XX:MaxPermSize=512m -Dsun.awt.xembed=true```2.**禁用SWT图形加速**：添加JVM参数强制关闭OpenGL渲染：```bash-Dorg.eclipse.swt.internal.gtk.cairoGraphics=false```###三、修复Shell释放异常该问题与工作区元数据损坏有关，需在启动时清理缓存：1.**挂载临时目录可写**：确保容器内`/tmp`可写，并在启动脚本中添加清理命令：```yamlvolumes:- ./data:/data-./temp:/tmp#显式挂载临时目录command: sh-c"rm-rf/tmp/.org.eclipse.swt*&& catalina.shrun"```2. **使用`-clean`参数初始化工作区**：修改启动命令强制重置工作区：```yamlcommand: ["catalina.sh", "run","-clean"]``` ###四、完整Docker Compose配置整合修复方案后的配置文件： ```yamlversion: '3'services:kettle:image:hiromuhota/webspoon:latestcontainer_name:kettlerestart: unless-stoppedports:- "8090:8080"volumes:- ./webspoon_data:/data#持久化Kettle配置- ./temp:/tmp#固定临时目录environment:-KETTLE_HOME=/data- CATALINA_OPTS=-Xmx2048m -XX:MaxPermSize=512m-Dsun.awt.xembed=true -Dorg.eclipse.swt.internal.gtk.cairoGraphics=falsecommand:sh -c "rm -f/tmp/.org.eclipse.swt*&& catalina.shrun -clean"``` ###五、验证方法1.查看启动日志：```bashdocker logs-fkettle |grep -i "disposed"```2.访问Web界面：`http://宿主机IP:8090/webspoon`，检查界面是否正常加载。 >**注意**：如果宿主机是Linux服务器且无物理显示器，建议使用Xvfb方案。§§相关问题 §§1.如何在无显示设备的服务器上部署图形化Docker应用？2.WebSpoon如何配置集群执行环境？3.Docker容器中Java应用的内存如何调优？4.如何持久化保存Kettle-WebSpoon的转换和作业？5.如何为WebSpoon配置HTTPS访问？通过以上步骤，可解决Graphic isdisposed和Shell dispose异常[^1][^2]。</think>### 解决 Docker 部署 Kettle-WebSpoon 的 `Graphic is disposed` 和 `Shell dispose` 异常 #### 一、核心问题分析 这两个异常通常由以下原因引起： 1. **SWT 图形环境缺失**：Docker 容器默认无 GUI 环境，而 WebSpoon 依赖 SWT 图形库 2. **资源释放冲突**：容器关闭时 UI 线程与资源释放顺序错误 3. **权限限制**：容器文件系统权限不足（如 `Operation not permitted`） 4. **内存不足**：SWT 图形操作需要足够内存 #### 二、解决方案 ##### 1. 添加虚拟显示支持（关键修复） 在 `docker run` 命令中启用虚拟帧缓冲： ```bash docker run -it --rm \ --name kettle \ -p 8090:8080 \ -v $(pwd)/data:/data \ -e KETTLE_HOME=/data \ -e DISPLAY=:99 \ # 虚拟显示环境 --entrypoint sh \ hiromuhota/webspoon:latest \ -c "Xvfb :99 -screen 0 1024x768x16 & catalina.sh run" ``` 原理：通过 `Xvfb` 创建虚拟显示环境，解决 SWT 的图形依赖[^1]。 ##### 2. 增加 JVM 内存参数 在环境变量中添加内存配置： ```yaml # docker-compose.yml environment: - CATALINA_OPTS=-Xmx2048m -XX:MaxPermSize=512m -Dsun.awt.xembed=true ``` > 关键参数说明： > - `-Xmx2048m`：堆内存提升至 2GB > - `-Dsun.awt.xembed=true`：解决嵌入式图形异常 ##### 3. 修复文件权限问题 解决 `Operation not permitted` 错误： ```bash # 创建数据目录并授权 mkdir -p ./data && chmod -R 777 ./data # 在docker命令添加写权限 docker run ... -v $(pwd)/data:/data:rw ... ``` ##### 4. 添加安全策略配置 创建 `setenv.sh` 并挂载到容器： ```bash # 本地创建 setenv.sh echo 'export JAVA_OPTS="$JAVA_OPTS -Djava.security.egd=file:/dev/./urandom"' > setenv.sh # docker命令添加挂载 docker run ... -v $(pwd)/setenv.sh:/usr/local/tomcat/bin/setenv.sh ... ``` #### 三、完整 Docker Compose 配置 ```yaml version: '3' services: kettle: image: hiromuhota/webspoon:latest container_name: kettle restart: unless-stopped ports: - "8090:8080" volumes: - ./data:/data:rw - ./setenv.sh:/usr/local/tomcat/bin/setenv.sh environment: - KETTLE_HOME=/data - DISPLAY=:99 - CATALINA_OPTS=-Xmx2048m -XX:MaxPermSize=512m -Dsun.awt.xembed=true entrypoint: sh -c "Xvfb :99 -screen 0 1024x768x16 & catalina.sh run" ``` #### 四、验证步骤 1. 启动容器： ```bash docker-compose up -d ``` 2. 检查日志： ```bash docker logs kettle | grep -i "graphic\|disposed" ``` 3. 访问 Web 界面： `http://localhost:8090/webspoon` #### 五、高级调试技巧 若问题仍存在： ```bash # 进入容器检查环境 docker exec -it kettle bash # 检查显示环境 echo $DISPLAY # 应输出 :99 # 检查SWT配置 cat /usr/local/tomcat/bin/setenv.sh # 手动启动Xvfb测试 Xvfb :99 -screen 0 1024x768x16 & export DISPLAY=:99 xclock # 应弹出时钟窗口 ``` > **重要提示**：生产环境建议使用 `--memory=3g` 限制容器内存，避免资源争抢[^1]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值