kettle 入门（一）输入输出写日志 / 插入更新

最新推荐文章于 2025-10-15 16:20:22 发布
原创 最新推荐文章于 2025-10-15 16:20:22 发布 · 1.3w 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#etl #kettle

本文详细介绍如何使用Kettle进行数据转换，包括设置数据库连接、编写SQL脚本、使用表输入和输出插件，以及错误步骤处理。同时，介绍了字段选择插件的功能，如字段重命名、类型转换和编码设置，确保数据准确无误地从一个数据库迁移到另一个。

新建转换（不是新建作业）

然后我们先在主对象树里面设置好db连接

测试一下 就可以继续了。

里面有各种数据库的连接类型 根据自己的需求  选择数据库连接

配置好之后 我们就开始写kettle脚本

（在里面写具体的sql脚本就可以）

现在核心对象里面找到表输入 拉入到我们新建的转换里

然后是表输出

然后将我们这个两个插件连接到一起

在核心对象找出 文本文件输出

将他们连接在一起 

连接选择的时候 选择错误步骤处理  ，然后点击红色xx 会有个弹窗

可以选择一个错误输出，也可以在错误输出里面选择字段，和文件的具体存放路径和格式。

又或者 我们把这个步骤替换成写日志这个插件

道理是一样的 但是这个写日志插件会把错误输出 或者输出 在控制台显示，如果

数据量太大的话会把kettle卡死，如果在表输入限制条数的话 可以，还是建议是使用

文本文件输出，更加的具体，和保存性，更加我们对于这个错误进行处理

 

还可以在表输入和输出之间加一个字段选择插件

这个主要是做什么的呢？我是这么理解的

就像他直观所见我们可以在选择和修改里面把表输入的字段

重新命名，定义他的长度和精度

元数据里面就是经常使用的了，我们可以把表输入里面的

字段通过这个插件进行类型转换，比如varchar(100)转换成

date类型（number，string..等等..）而且可以选择具体的显示格式

和编码类型 防止乱码出现 。

这个脚本主要是做什么的呢！用来把一个表拉取到另一个库，或者不同数据库的表中

这样比较方便，而且效率很高 ，又不怕不同数据库类型不同而困惑。

今天先教大家这个一个方案，其实还有很多种做法，我们日后一 一讲解

希望大家多多关注 互相学习,我们共同成长，以后争取每日一更 共同加油努力

Kettle (学习001) 表输入-＞插入/更新
范天缘的博客
11-14 4517
kettle数据抽取学习
kettle从入门到精通 第四课 写日志
zhangjin1222的博客
01-27 1585
Nr of rows to print：日志输出行数限制条数，设置为0时，输出一行，设置位1时，输出两行，以此类推。4、添加一个输入组件 生产记录 设置好连线，连线在kettle 里面术语叫做跳，点击连线可以启用/禁用。1、从核心对象里面找到写日志组件，直接拉到右侧工作区域，或者直接双击写日志控件，也会跑到右侧工作区域。5、点击工作区域左上角的运行按钮，弹出窗口点击启动，即可运行当前转化文件，在运行之前需要先保存文件。2、我们在编辑转换文件或者作业文件需要调试时，就需要用到写日志组件。
kettle使用log4j管理输出日志
09-18
参照了几个网上大神配置，部分教程的描述有误，最终调试完成，可以实现kettle日志输出，测试版本kettle data-integration-6.0，jdk1.7，日志位置在你的data-integration-6.0安装目录下，logs。 需要替换的文件为，Kettle的程序目录下data-integration-6.0\plugins\kettle5-log4j-plugin中有一个log4j.xml文件。
第四章 Kettle（PDI）解锁输入输出组件：数据流转的核心枢纽
最新发布
hugejiletuhugejiltu的博客
10-15 841
Kettle作为开源ETL工具，提供了丰富的输入输出组件，支持从文件、数据库等多种数据源高效获取和存储数据。本文重点介绍了文本文件输入组件和数据库输入组件的功能特点、配置步骤及应用案例。文本文件输入组件支持CSV、TXT等多种格式，可灵活配置字段信息；数据库输入组件通过JDBC连接多种关系型数据库，支持SQL查询和参数化操作。通过详细配置说明和销售数据案例，帮助读者快速掌握组件使用方法，为数据处理奠定基础。
kettle插入/更新
ajsyipsc40270的博客
09-19 281
1.数据库环境 --------------------实时表 CREATE TABLE NowTable(ID INT,NAME VARCHAR(100),Info VARCHAR(100)); INSERT INTO NowTable VALUES(1,'张启山','长沙'); INSERT INTO NowTable VALUES(2,'尹新月','长沙'); I...
kettle 插入/更新节点
lw18751836671的专栏
08-27 5456
目录 前言 编写代码 报错解决 完整代码 前言 一直以来的都是使用TableOutput输出到表，但是如果是有主键，需要更新数据，用这个很明显是不可以的。 所以需要InsertUpdateMeta节点，交换模型如下图红框所示，表输入-->插入/更新 插入更新节点的设置如下图 两个表的话如下图所示， 目标表无主键 源表有主键 运行一次上述交换后，源表数据插入到目标表，再次运行发现目标表还是只有两条...
kettle开发篇-插入更新-Day4
qq_29061315的博客
12-02 2199
前言： 时间真快，转眼一年又从我们身边溜走了，从今天开始决定每天只讲一个知识点，将对应知识仔细解剖了，这样形成小颗粒的蛋白质，便于消费吸收，也便于自己的提高，一个东西你以为他懂，也只有你写出来，别人看懂了才是真的懂了。好了，废话不多说，上课。 一、什么是插入更新 插入更新的主要作用就是根据条件来检索数据，如果说相同更新记录，不相同增加记录。此时不懂的小明就会问了，里面的条件是指啥？是wher...
kettle 插入更新 数据增量_使用Kettle实现数据实时增量同步
weixin_36359110的博客
02-06 2600
2018-09-28： 示例job已上传至github,地址见文末0. 前言本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。1. 时间戳增量回滚同步假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每...
大数据最全大数据ETL开发之图解Kettle工具（入门到精通）(3)
2401_84181975的博客
05-04 416
在实际企业开发中，都是在本地Windows环境下进行 kettle 的 job 和 Transformation 开发的，可以在本地运行，也可以连接远程机器运行。
Kettle(一)入门篇
qq_42082278的博客
09-08 3310
这里写目录标题一、初识Kettle二、Kettle简单使用 学习视频:https://www.bilibili.com/video/BV1jE411B7J8 一、初识Kettle 二、Kettle简单使用
大数据ETL开发之图解Kettle工具入门到精通（附上kettle安装包）
2401_84166327的博客
05-01 980
XML可扩展标记语言eXtensible MarkupLanguage，由W3C组织发布，目前推荐遵守的是W3C组织于2000年发布的XML1.0规范。XML用来传输和存储数据，就是以一个统一的格式，组织有关系的数据，为不同平台下的应用程序服务。
Kettle运行日志记录
08-09
NULL 博文链接：https://qq85609655.iteye.com/blog/2173882
【Kettle 入门 Windows10 CentOS7】Kettle-8.2.0 入门基础 2019.10.31
在微风中飘落的博客
10-31 1750
Pentaho·Data Integration - Kettle； 简介，软件背景，特点，相关资源，Kettle构架，客户端，服务器； 核心概念：Transformation，Job变量； Kitchen命令行选项； WindowsLinux集群部署； 实际案例；
kettle应用-数据库表插入/更新
耕耘
10-13 7237
本文介绍使用【插入/更新】转换到另一个表中
Kettle日志输出的两种方法，数据库和日志文件
huanghuang9426的博客
07-13 9433
打印方案 步骤 优点 缺点 添加日志记录表 在主任务中添加配置，落地到日志表中 查询日志。不再需要翻找日志文件，直接sql语句查询就行了 每次记录所有日志，而非每个转换任务分开，转换任务多的话不便于分析 按任务进行打印日志文件 便于分析是哪个任务造成的错误 需要事先定位是哪个任务什么时间节点出了问题，不然追溯太过痛苦 ...
2024年Web前端最全Electron-vue实战-每日清单---02Electron-vue的目录详解，面试高频题目
2401_84435739的博客
05-04 1094
框架原理真的深入某一部分具体的代码和实现方式时，要多注意到细节，不要只能写出一个框架。算法方面很薄弱的，最好多刷一刷，不然影响你的工资和成功率😯在投递简历之前，最好通过各种渠道找到公司内部的人，先提前了解业务，也可以帮助后期优秀 offer 的决策。要勇于说不，对于某些 offer 待遇不满意、业务不喜欢，应该相信自己，不要因为当下没有更好的 offer 而投降，一份工作短则一年长则 N 年，为了幸福生活要慎重选择！！！开源分享：【大厂前端面试题解析+核心总结学习笔记+真实项目实战+最新讲解视频】
kettle作业中的js如何写日志文件
weixin_34240657的博客
05-26 391
在kettle作业中JavaScript脚本有时候也扮演非常重要的角色，此时我们希望有一些日志记录。下面是job中JavaScript记录日志的方式。 job的js写日志的方法。 得到日志输出实例 org.pentaho.di.core.logging.LogWriter.getInstance(); 按照日志的级别输出： public void logMinimal(S...
kettle-写日志
weixin_41668007的博客
06-29 2851
日志控件设置 结果
kettle教程（1） 简单入门、kettle简单插入与更新。打开kettle
weixin_30859423的博客
06-03 6776
本文要点：Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新：kettle会自动对比用户设置的对比字段，若目标表不存在该字段，则新插入该条记录。若存在，则更新。 Kettle简介：Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数...
kettle中的插入/更新输出，不更新和插入什么情况
08-26
<think>我们正在讨论Kettle（也称为Pentaho Data Integration）中的“插入/更新”步骤。该步骤用于将数据插入到目标表中，如果目标表中已存在基于匹配键的记录，则更新该记录。 根据Kettle的文档和实际行为，以下情况会导致“插入/更新”步骤不执行插入或更新操作： 1. **没有输入行**：如果前一步骤没有向“插入/更新”步骤传递任何行，那么显然不会执行任何插入或更新操作。 2. **所有行都被忽略**：在“插入/更新”步骤中，可以设置一个“提交记录数量”的选项。但是，即使有输入行，如果这些行在提交之前被某种条件过滤掉（例如，通过错误处理设置将行发送到错误流），那么这些行也不会被插入或更新。 3. **连接失败**：如果与目标数据库的连接失败，则无法执行插入或更新操作。 4. **事务设置**：如果数据库连接设置为手动提交，并且在执行插入/更新步骤后没有提交事务，那么这些操作可能不会真正写入数据库（直到提交事务）。此外，如果在事务过程中发生错误并回滚，那么这些操作也不会生效。 5. **条件不满足**：在配置“插入/更新”步骤时，需要设置用于比较的键字段。如果输入行中的键字段值与目标表中的任何行都不匹配，则执行插入操作；如果匹配，则执行更新操作。但是，如果更新操作中设置的所有字段值与目标表中对应行的值完全相同，那么某些数据库可能不会实际执行更新（因为值没有变化）。不过，Kettle的“插入/更新”步骤默认会执行更新，即使值没有变化。但是，可以通过一个选项来控制是否更新相同的值：在“插入/更新”步骤的高级选项中，有一个“不更新相同的值？”（Do not update identical values?）的复选框。如果勾选了这个复选框，那么当要更新的字段值与目标表中的字段值完全相同时，将不会执行更新操作。因此，在这种情况下，不会更新记录，但也不会插入新记录（因为匹配到了记录，所以不会插入，而更新又被跳过）。 6. **错误处理**：如果在步骤中配置了错误处理，并且某些行触发了错误（例如，违反唯一性约束、数据类型不匹配等），那么这些行会被发送到错误流，而不会执行插入或更新。 7. **目标表不存在或没有权限**：如果目标表不存在，或者执行用户没有足够的权限，那么操作也会失败。 8. **主键冲突（仅插入时）**：在插入新记录时，如果目标表的主键或唯一索引与要插入的记录冲突，则会失败（除非步骤配置了错误处理，将错误行发送到错误流）。 9. **更新操作中的唯一键冲突**：在更新操作中，如果更新操作导致目标记录的唯一键与表中其他记录冲突，也会导致失败。 10. **批量更新设置**：如果设置了批量更新，并且批量大小不为1，那么直到批量提交之前，数据可能不会写入数据库。如果某个批次中有错误，整个批次可能都会回滚。 11. **步骤被禁用**：在转换中，如果该步骤被禁用，则不会执行。 12. **转换被中断**：如果在执行过程中转换被中断（例如，用户停止转换），则未提交的操作将不会执行。 因此，在排查“插入/更新”步骤未执行操作时，需要检查以上情况。 下面我们生成相关问题：</think>### Kettle 插入/更新输出步骤不执行操作的情况分析 在 Kettle（Pentaho Data Integration）中，**插入/更新输出步骤**用于将数据同步到目标数据库：若目标表不存在匹配记录则插入新行；若存在则更新现有行。以下情况会导致该步骤不执行插入或更新操作： #### 1. **无匹配的键字段** - 当输入流的**所有字段值**与目标表的键字段（如主键）均不匹配时，步骤默认不会执行任何操作[^1]。 - **解决方案**：检查键字段配置是否准确，或启用 "Don't perform any update" 选项强制插入新记录。 #### 2. **更新值与原值完全相同** - 若输入流中待更新的字段值 **与目标表现有记录完全一致**，数据库可能跳过更新（取决于配置）。 - **示例**：目标表字段 `price=100`，输入流中 `price=100` → 无操作。 - **解决方案**：勾选步骤的 "Update even if the values are identical" 选项强制更新[^2]。 #### 3. **条件过滤导致零行处理** - 前置步骤（如过滤、JavaScript）可能过滤所有输入行，导致无数据传递到插入/更新步骤。 - **验证方法**：在插入/更新步骤前添加 "Write to Log" 步骤检查数据流。 #### 4. **数据库连接或权限问题** - 数据库连接失败、事务隔离级别冲突（如 `REPEATABLE_READ`）或用户缺乏写权限时，操作会静默失败。 - **诊断**：检查 Kettle 日志中的 `ERROR` 条目或启用数据库的查询日志。 #### 5. **批量提交模式下的错误处理** - 若启用批量提交（如 `Batch size=1000`），且某一行因约束冲突（如唯一键重复）失败，**整个批次会被回滚**。 - **解决方案**： - 减小批处理大小。 - 使用 "Error handling" 选项卡将错误行重定向到其他步骤[^3]。 #### 6. **目标表触发器干扰** - 目标表的 `BEFORE UPDATE` 触发器可能修改数据或阻止操作。 - **验证**：临时禁用触发器测试是否恢复正常。 --- ### 配置建议 1. **强制插入不匹配记录**： ```mermaid graph LR A[输入流] --> B{插入/更新步骤} B -->|勾选 Don't perform any update| C[新记录全部插入] ``` 2. **调试流程**： - 添加 "Table Output" 步骤将输入流写入临时表，对比目标表差异。 - 使用 `SELECT * FROM target_table WHERE key_field IN (...)` 手动验证匹配逻辑。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值