kettle入门插入/更新不更新问题

最新推荐文章于 2024-07-31 11:18:40 发布

原创最新推荐文章于 2024-07-31 11:18:40 发布 · 6.3k 阅读

0 ·

CC 4.0 BY-SA版权

博客指出当所有步骤无误且点击运行后，数据只插入新数据而未更新的解决办法，即把不执行任何更新的勾去掉。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

是不是所有步骤都没有错，也点击运行了，但是更新的数据就是没有更新，只插入了新的数据，那么不要急，看下图：把不执行任何更新的勾去掉就行了；
在这里插入图片描述

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

qq_31811375

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Kettle数据抽取（四）

荒的博客

06-21

145

更新和插入/更新，这两个控件是kettle提供的将数据库已经存在的记录（目标）和数据流（来源）的记录进行对比的控件。本章节任务：手动修改下student表的数据（修改和新增），然后用修改后的数据和student2来进行比较，分别尝试更新和插入/更新控件的区别。是将数据库中的数据和数据流中的数据做对比，如果不同就更新，如果数据流的数据比数据库中的数据多，那么就报错。：我们一般用主键进行对比，如果主键不能一一对应，比如student表的id是1。的功能和更新一样，只不过优化了数据不存在就插入的功能，

kettle——数据一致性、数据规范化

m0_60154718的博客

06-09

1510

创建表结构数据记录。

参与评论您还未登录，请先登录后发表或查看评论

kettle常见问题

PedroHuo的专栏

12-26

2284

1. Join 　　我得到A 数据流（不管是基于文件或数据库），A包含field1 ， field2 ， field3 字段，然后我还有一个B数据流，B包含field4 ， field5 ， field6 ，我现在想把它们 ‘加’ 起来，应该怎么样做. 　　这是新手最容易犯错的一个地方，A数据流跟B数据流能够Join，肯定是它们包含join key ，join key 可以是一个字段也可以

kettle-数据同步比较数据（删除更新）

热门推荐

大帅的博客

11-11

1万+

需求是这样的：从A数据库取数据到B数据库，A库中表只包含有效数据，因此同步到B库中也只能包含有效数据，其他的数据要么更新，要么删除，或者新增。总体解决方案：因为脚本是第三方执行的，我们没有权限执行脚本，同样也没有第三方也就是上面说的A库的权限，因此我们一开始一直纠结怎么取数据，把解决问题的点一直关注B库，后来才反应过来，既然是第三方执行脚本，他们有A库权限，那么执行脚本应该把A库算在可执行...

kettle 只做插入操作不做更新

wang12345566的博客

12-20

9306

需求：表1和表2不在同一物理机上，将表2中的有的表1中没有的数据插入表1中，在表1有的数据不做更新操作 1.表1原数据 2.表2原数据 3.表1和表2join后数据 4.处理后数据 kettle实现就使用插入/更新组件就能实现（插入/更新插入在数据量很大时不建议使用，此组件的效率很低，当需要插入更新时，使用先删除再插入，效率会很

kettle执行更新/插入操作后没有数据的问题

na20150527的博客

02-28

6857

今天遇见了kettle执行"更新/插入"操作过程非常顺利,没有任何异常,但是目标库中取不到数据问题试了好多种方法均无效果设置"插入/更新"组件中的update选项为N 未取到数据设置"插入/更新"不执行任何更新勾选未取到数据解决方式:使用"表输出"组件替换掉"插入/更新"组件,在表输入组件中,修改时间节点where条件为DATEDIFF(day,brushtime,...

kettle不执行任何更新实测详解

One_Piece111的博客

03-01

3002

需求将A表中的数据传输给B表，但根据条件将B表中有对应的数据不执行任何操作建两张数据结构一样的表插入一些测试数据勾选“不执行任何操作” 点击直接测试，运行正常可以看到，“符合条件” 的并没进行更新， “未符合条件” 在不改变原来数据的情况下又插入了一条数据！总结：勾选“不执行任何更新后”，只会根据条件进行插入，但并不会执行任何更新！ ...

kettle 插入更新数据增量_使用Kettle实现数据实时增量同步

weixin_36359110的博客

02-06

2536

2018-09-28：示例job已上传至github,地址见文末0. 前言本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。1. 时间戳增量回滚同步假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每...

kettle基础入门(四)kettle增量更新

etl菜鸟

03-30

8387

etl中面对大量数据，增量更新是最好的选择，结合工作遇到的问题，总结了篇使用时间戳进行的kettle增量更新。

Kettle入门使用手册二、定时同步更新表

qq_31943653的博客

09-07

1940

在两个数据库环境中同步数据，第一次同步，数据全部同步，之后原表可能还会存在更新数据，所以我们这个同步完数据还不算完，还得需要继续同步更新，下面就是怎么实现定时同步更新的。。。 1、建立转换，把表输入和表输出配置好，在前面的一章中，我已经初步讲解了怎么配置，不会的朋友们可以翻翻我上一章节。在这个图中，有2个步骤，1步就是完全同步数据，2步讲究的就是源表更新数据了，则更新的数据同步你会发现这...

kettle入门学习及样例学习

weixin_40615767的博客

07-31

2598

上篇文章已经对kettle做了简单的介绍，并对启动及介绍了一些简答的配置，接下来会介绍一下kettle转换(transformation) 和作业(job)的可用组件，和做一些样例介绍。转换(transformation):常用组件如下图左侧常见的转换形式有表到表，表到文件，文件到表，文件到文件因为Job (作业) 是完成整个工作流的控制。所以我这里就以一些完整业务，来进行演示。

kettle无法更新数据库字段解决办法

qiu_spring的博客

10-25

1940

刚开始使用kettle，遇到一个问题，在编写一个转换流程时，如果所操作的表字段名发生了变化（例如表student中id变更问userid），但是在kettle中使用时仍然显示是id，如下图, 此时清空数据库缓存即可：Clear complete DB Cache ...

tk 更新某一字段为null_Kettle（PDI）转换中输出之插入/更新详解

weixin_33078391的博客

01-22

1169

概述Insert / update(插入 / 更新)此步骤首先使用一个或多个查询关键字查找表中的一行。如果找不到该行，则插入该行。如果可以找到它，并且要更新的字段相同，则不执行任何操作。如果它们不完全相同，则更新表中的行。注意：如果有多个匹配关键字的行，则只比较找到的第一行。这可能会导致不同的结果，这取决于所找到的行是否与给定值匹配。更新场景是这样的：如果在多个行具有相同关键字的情况下发现差异，则...

kettle修改后台表结构后，不能及时更新

hzp666的博客

11-17

2382

点击SQL，清除缓存即可

kettle-插入更新(没有找到即插入更新)(重点)

weixin_41668007的博客

06-26

1331

Kettle增量插入更新所有数据都拒绝情况处理

weixin_33980459的博客

05-27

3102

在使用Kettle抽取数据，我发现一个平时正常跑的转换，突然不正常了。他增量查询没问题，但是到插入更新的那一步，所有数据都拒绝，而且报错看不出什么。经过排查，所有的写的步骤都是正确的，但是就是不进库。后来，我把所有的步骤重新新建，然后就可以了！！！再后来，我又遇到这种情况，然后把增量查询的sql重新复制，粘贴进去，再保存一下，也正常进库了。可能是kettle识别有问题把？？转载于:https...

记一次kettle 插入/更新组件出现的问题

u011267815的博客

01-03

5427

如图更新字段必须包含所有用来查询的关键字，否则会出现更新异常

关于kettle工具表新增字段同步的时候无法显示的问题

qq_39362786的博客

07-26

6337

有时候在使用Kettle同步工具的时候，当我们转换都创建好了之后，发现数据库需要加的新的字段，而且需要再次同步，但是在表字段中却无法找到只是因为缓存的问题，我们只需要点击右下角的sql,然后再点清除缓存就好了...

kettle入门

最新发布

03-13

<think>好的，我现在需要帮助用户了解Kettle的基本使用方法和入门教程。首先，我需要回忆一下用户提供的引用内容，看看里面有哪些关键信息可以利用。用户提到了四个引用，其中引用1是关于Kettle 8.2的快速入门教程，覆盖了ETL操作的基础到高级内容，还提到了配套资源和各种控件的使用。引用2介绍了Spoon作为Kettle的图形化界面工具，适合设计数据集成作业。引用3讲述了Kettle的历史，从开源项目到被Pentaho收购，后来成为Pentaho Data Integration。引用4则提到一个基于Kettle的web版数据集成平台，可能对用户有帮助。接下来，我要根据这些信息组织一个结构清晰的回答。用户的需求是入门教程、基本使用方法以及使用指南，所以需要分步骤讲解。首先应该介绍Kettle是什么，然后说明如何安装和启动，接着详细讲解Spoon的界面，再分步骤说明ETL流程的创建，比如输入、转换、输出，最后给出学习资源和常见问题。需要注意的是，用户要求使用中文回答，并且所有数学表达式要用$...$格式，但根据问题内容，可能这里数学公式不多，但如果有的话需要正确应用。同时，回答中需要自然地添加引用标识，例如在提到教程的时候引用[^1]，提到Spoon时引用[^2]，历史部分引用[^3]，web版平台引用[^4]。然后，生成相关问题部分，需要围绕Kettle的入门使用、工具特点、应用场景、与其他工具的对比等来提问，确保问题相关且有深度，帮助用户进一步学习。现在，检查是否有遗漏的信息。用户提供的引用中，引用1提到了输入、输出、转换等控件，这些在步骤部分需要详细说明。引用4的web版数据集成平台可能是一个扩展内容，可以在学习资源或高级应用中提及。此外，安装步骤需要包括Java环境配置，因为Kettle是基于Java的，这点可能需要补充，尽管引用中没有提到，但属于常识内容。另外，确保回答结构清晰，分点说明，使用代码块展示示例转换，比如从CSV读取数据，过滤，输出到数据库。同时，避免使用Markdown格式，但用户示例中显示可以使用代码块，所以应该保留。最后，确认所有引用都正确对应，没有错误引用。例如，引用3关于历史背景，引用4关于web平台，都需要准确对应到相关内容。</think>### Kettle 入门教程与基本使用方法 #### 一、Kettle简介 Kettle（现名Pentaho Data Integration，PDI）是一款开源的ETL工具，用于数据抽取、转换和加载[^3]。其核心组件**Spoon**提供图形化界面，支持拖拽式设计ETL流程，适合数据仓库构建、数据迁移等场景[^2]。 #### 二、环境配置与安装 1. **安装前提** - Java 8+环境（需配置`JAVA_HOME`）。 - 下载Kettle：访问[Pentaho官网](https://sourceforge.net/projects/pentaho/files/)获取安装包。 2. **启动Spoon** - 解压后运行`spoon.bat`（Windows）或`spoon.sh`（Linux/macOS）。 #### 三、Spoon界面与核心功能 | 功能区域 | 说明 | |------------------|----------------------------------------------------------------------| | **主菜单** | 包含作业/转换的新建、保存、运行等操作 | | **核心对象树** | 提供输入、输出、转换等控件，支持拖拽到画布 | | **画布区** | 设计ETL流程的界面，通过连线定义步骤间逻辑 | | **执行日志** | 显示作业运行状态和错误信息 | #### 四、创建第一个ETL流程（示例：CSV转数据库） 1. **输入数据** - 拖拽`CSV文件输入`控件到画布，配置文件路径和字段格式。 ```javascript // CSV输入配置示例 filename: data.csv delimiter: , fields: id, name, age ``` 2. **数据转换** - 使用`过滤记录`控件筛选年龄大于18的数据。 - 公式：`age > 18`。 3. **输出到数据库** - 拖拽`表输出`控件，配置数据库连接（如MySQL）和目标表名。 #### 五、学习资源与进阶 1. **官方教程** - 《Kettle 8.2 数据仓库快速入门》提供从基础到高级的实例操作。 2. **开源项目扩展** - Web版数据集成平台：[data-integration](https://gitcode.com/gh_mirrors/da/data-integration)支持在线设计ETL任务。 3. **常见问题** - **性能优化**：通过调整事务提交频率、使用批量插入提升速度。 - **错误排查**：检查日志中字段类型是否匹配，或数据库连接是否超时。 §§ 1. Kettle与Informatica等商业ETL工具相比有哪些优缺点？ 2. 如何通过Kettle实现实时数据同步？ 3. Kettle在数据清洗中的具体应用案例有哪些？ 4. 如何调试复杂的Kettle转换作业？