kettle 只做插入操作不做更新

最新推荐文章于 2022-03-01 10:59:52 发布
最新推荐文章于 2022-03-01 10:59:52 发布
阅读量9.3k 收藏 5
点赞数 2
CC 4.0 BY-SA版权
分类专栏： kettle 插入
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/wang12345566/article/details/78856327
本文介绍如何使用Kettle工具实现两个不同物理机上的表数据同步。具体步骤为将表2中存在而表1中缺失的数据插入到表1，并保持表1中原有数据不变。采用Kettle的插入/更新组件来完成这一任务，适用于数据量较小的情况。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

需求：表1和表2不在同一物理机上，将表2中的有的表1中没有的数据插入表1中，在表1有的数据不做更新操作

1.表1原数据


2.表2原数据



3.表1和表2join后数据



4.处理后数据



kettle实现

就使用插入/更新组件就能实现（插入/更新插入在数据量很大时不建议使用，此组件的效率很低，当需要插入更新时，使用先删除再插入，效率会很高）

我这使用了，是因为数据量小，解决一次性的问题，如下图在update列全部选上N即可






Kettle数据抽取（四）
荒的博客
06-21 134
更新和插入/更新，这两个控件是kettle提供的将数据库已经存在的记录（目标）和数据流（来源）的记录进行对比的控件。本章节任务：手动修改下student表的数据（修改和新增），然后用修改后的数据和student2来进行比较，分别尝试更新和插入/更新控件的区别。是将数据库中的数据和数据流中的数据做对比，如果不同就更新，如果数据流的数据比数据库中的数据多，那么就报错。：我们一般用主键进行对比，如果主键不能一一对应，比如student表的id是1。的功能和更新一样，只不过优化了数据不存在就插入的功能，
kettle 插入更新 数据增量_使用Kettle实现数据实时增量同步
weixin_36359110的博客
02-06 2532
2018-09-28： 示例job已上传至github,地址见文末0. 前言本文介绍了使用Kettle对一张业务表数据(500万条数据以上)进行实时(10秒)同步，采用了时间戳增量回滚同步的方法。关于ETL和Kettle的入门知识大家可以阅读相关的blog和文档学习。1. 时间戳增量回滚同步假定在源数据表中有一个字段会记录数据的新增或修改时间，可以通过它对数据在时间维度上进行排序。通过中间表记录每...
ETL：kettle根据源表只更新不插入目标表指定字段数据
foreverzwl
11-30 3437
环境配置 window环境下下载kettle解压之后可通过双击根目录下的Spoon.bat文件运行。注意：kettle需要安装jdk，并且有的需要jdk版本高于1.7。如果双击之后报错，先排除jdk是否正确安装、jdk版本是否是1.8及以上。 操作目的 SQL Server类型数据库中有目标表A表，A表有目标字段（fieldA字段），需要从PostgreSQL库中的源数据表B表中，同步B表的fieldA字段值过来。更新条件为A表的fieldC字段等于B表的fieldC字段。 伪代码： update A a
kettle不执行任何更新 实测详解
One_Piece111的博客
03-01 2993
需求 将A表中的数据传输给B表，但根据条件将B表中有对应的数据不执行任何操作 建两张数据结构一样的表 插入一些测试数据 勾选“不执行任何操作” 点击直接测试，运行正常 可以看到，“符合条件” 的并没进行更新， “未符合条件” 在不改变原来数据的情况下又 插入了一条数据！ 总结：勾选“不执行任何更新后”，只会根据条件进行插入，但并不会执行任何更新！ ...
Kettle入门之三 Kettle应用场景（只增量插入）
qq_43015592的博客
07-20 1694
在此，我们主要对示例1进行说明。 为方便演示，我们在数据库A和数据库B中分别创建表userA和表userB。最终目标为将数据表userA中的数据插入到数据表userB中。 create database testA; use testA; create table `userA`( `id`int(10) primary key, `name` varchar(50), `age` int(3) )ENGINE=InnoDB DEFAULT CHARSET=utf8; inse
kettle教程（1） 简单入门、kettle简单插入与更新。打开kettle
weixin_30859423的博客
06-03 6715
本文要点：Kettle的建立数据库连接、使用kettle进行简单的全量对比插入更新：kettle会自动对比用户设置的对比字段，若目标表不存在该字段，则新插入该条记录。若存在，则更新。 Kettle简介：Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，数据抽取高效稳定。Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数...
kettle执行更新/插入操作后没有数据的问题
na20150527的博客
02-28 6845
今天遇见了kettle执行"更新/插入"操作过程非常顺利,没有任何异常,但是目标库中取不到数据问题 试了好多种方法均无效果 设置"插入/更新"组件中的update选项为N 未取到数据 设置"插入/更新"不执行任何更新勾选 未取到数据 解决方式:使用"表输出"组件替换掉"插入/更新"组件,在表输入组件中,修改时间节点where条件为DATEDIFF(day,brushtime,...
kettle插入/更新的使用
Mr_Tanga的博客
07-23 1万+
插入更新的主要作用就是根据条件来检索数据，如果说相同  更新，不相同添加！ 假设一个业务场景，我们需要从这个数据库的表里面拿数据，但是，在输出表里面可能会有相同的数据 我们先假设我们的输出表和输入表判断是否相同的依据是id 我此时运行我的数据，他有10w行数据，可是到了一半，运行失败了 出现了某某因素 然后我如果删除的话，那么我之前的历史数据也会删除掉，那么怎么办 我们打开这个插入/更...
kettle对数据分表插入
06-01
本篇文章将深入探讨如何利用Kettle进行数据分表插入，并结合Oracle数据库、Java脚本以及哈希算法来实现这一目标。 首先，让我们理解什么是数据分表。在大数据场景下，单一的大表可能会导致性能瓶颈，因此通常会采用...
kettle分页抽取、插入实现.zip
05-14
本资料"Kettle分页抽取、插入实现.zip"聚焦于如何在Kettle中实现分页数据抽取和插入操作，这对于处理大量数据时尤为重要，可以避免一次性加载过多数据导致的性能问题。 首先，我们来理解什么是分页。在数据库中，...
kettle作业-插入操作优化
qq_35861801的博客
11-21 855
针对4.3版本的kettle作业插入数据缓慢，参考官网wiki ：https://wiki.pentaho.com/display/EAI/MySQL 对“表输出"组件，进行修改： 点击数据库连接==> 编辑 ==>选项 设置如下参数，并保存。 测试性能 a.未修改之前：50万的数据插入未设置的表，耗时16分钟。 b.修改之后：50万的数据插入的表测试。耗时17s效果显著。...
kettle批量插入hive2，解决表输出速度慢问题
05-08
因此，在数据插入过程中，只能执行单条插入操作，极大地降低了插入速度，效率通常只有几十条记录每秒。 #### 二、解决方案详解 为了解决上述问题，可以通过以下步骤重新编译big-data-plugin插件来使表输出支持对...
kettle 实时同步数据（插入/更新/删除数据）
热门推荐
fk478561641的博客
06-13 6万+
首先需要下载kettle工具，本人的环境为：jdk1.8。下载地址：https://jaist.dl.sourceforge.net/project/pentaho/Data%20Integration/7.1/pdi-ce-7.1.0.0-12.zip来接mysql数据库需要把mysql-connector-java-5.1.38.jar导入到解压后的lib文件中，并重启kettel。表同步为单...
Kettle单表增量同步超详细完整教程
qq_45575376的博客
12-17 9126
1、教程初衷，最近想要使用kettle实现单表增量同步，在各种搜索中，在gzh java大师找到视频教程，实现成功后，很是感激，也想通过教程复述的方式记录方法的实现过程、理清思路，好了好了，废话多多少少有点多了。 2、介绍具体环境 想要将input_test表中数据实时同步到output_test表中，小编的这两个表在mysql的同一个数据库中，当然在mysql的不同数据库也可以实现。 3、实现思路 （1）获取上一次同步时间。 （2）同步本次更新数据。 （3）记录本次同步时间。 4、使用工具kettle和n
kettle增量循环导入数据--实现更新、删除
m0_62049948的博客
10-19 1514
在工作中遇到了需要自增循环导入的情况，因为数据量太大，所以想采用根据总数据量，kettle判断循环次数，人为控制每批次传输的数量。在网上查找了很多信息，自己也解决了一些问题，汇聚成了一片小文章，分享一下。 第一是作业总设计图： 1---定义变量模块内容 第一步为转换结构：主要用于定义变量和获取变量，为下步判断和第三步的循环提供基础。 2-----判断模块内容 3------循环模块内容 javaScript内主要是变量循环+1（${RUN_NUM}）以及控制每批次传输的...
Kettle: 插入/更新、表输出及表输入
读万卷书 行万里路
08-07 1万+
1. 插入/更新 按照官方资料说明，插入/更新实现的功能只有两个： 依据查询关键字段，将未被发现的行记录插入到表中。 如果行记录在表中被找到，则比较需更新的字段，若更新字段不一致，则进行更新操作。 在MySQL中构建连个表personal_a和personal_b,其创建语句及原始数据如下。使用Kettle将personal_a中的数据插入更新到personal_b中。 create table `personal_a` ( `id` varchar (60), `surname` varch
kettle插入更新操作
baidu_15113429的博客
06-30 1261
kettle真的是一个很好的ETL工具，在数据转换的时候，学会使用kettle就会事半功倍。http://blog.youkuaiyun.com/bash020810/article/details/23205161
kettle插入更新不了
最新发布
01-15
### Kettle 中插入更新失败解决方案 当遇到Kettle中的插入操作无法正常执行更新的问题时，通常是因为配置不当或未正确处理增量更新逻辑。以下是几种可能的原因及对应的解决方案： #### 1. 使用 Insert/Update 步骤 如果目标是在数据库中进行插入或更新操作，则应考虑使用`Insert / Update`步骤而不是简单的`Table Output`步骤[^1]。 ```sql INSERT INTO target_table (column1, column2) VALUES (?, ?) ON DUPLICATE KEY UPDATE column1 = VALUES(column1), column2 = VALUES(column2); ``` 此SQL语句适用于MySQL，在其他类型的数据库管理系统(DBMS)上语法可能会有所不同。对于不同的DBMS，请查阅相应的文档以获取正确的UPSERT语法。 #### 2. 设置键字段 为了使`Insert / Update`功能生效，必须指定用于判断记录是否存在以及是否需要更新的关键字段（即唯一标识符）。这可以通过在转换设置中定义这些列作为匹配条件来完成。 #### 3. 处理空字符串问题 有时，由于某些特定的数据类型映射关系，可能导致空字符串被错误地解释为NULL值，从而影响到后续的操作。针对这种情况，可以在启动前创建并加载自定义属性文件(`kettle.properties`)，其中包含必要的参数调整，比如将空串视为非null值[^2]。 ```properties # kettle.properties 文件示例 KETTLE_EMPTY_STRING_IS_NULL=N ``` 之后确保应用程序能够读取该配置文件，并将其应用至运行环境中。 #### 4. 验证数据流设计合理性 最后还需检查整个工作流程的设计是否合理，特别是涉及到多表关联、复杂过滤器等情况下的逻辑准确性。必要时可借助调试模式逐步排查潜在漏洞所在之处。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值