Kettle 增量导数据

本文详细介绍了如何利用Kettle工具进行数据迁移,从源表到目标表的转换步骤包括新建转换、设置数据库链接、筛选未修改记录及插入/更新操作。同时,还展示了如何配置定时任务来定期执行这个转换过程,确保数据同步的准确性和时效性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、新建转换。

“源表”中的数据导入“目标表”。 源表 -> 目标表
1.下载kettle安装包,启动kettle.
2.新建转换“表输入”,设置数据库链接,查出目标表的最近修改时间:

select if(ISNULL(max(ORDERDATE)), '1900-01-01 00:00:00', max(ORDERDATE)) 

from kevin_t1
3.新建 “表输入", 设置数据库链接,“从步骤插入数据”选择上一步的结果,查出源表中未修改的记录,SQL如下:
select * from kevin_t1 where ORDERDATE > ?
4.新建”插入/更新", 选择目标表,用来查询的关键字“id = id ",
更新字段列表中,将id的更新设为”N", 并将ORDERDATE 去掉(不然会报错,因为mysql会自动更新此字段)。
二、新建任务。
1.新建“作业定时调度。
2.新建转换,指向步骤一。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值