使用KETTLE实现数据的增量抽取的方法大致如下:
从目标表中读取最大的时间戳或者增量字段ID,作为条件,然后把源表中所有大于这个增量字段的数据读出来,插入到目标表当中去;
1.打开Kettle工具,打开新建的全量抽取流;
2.选择INPUT,再拖出来一个“表输入”控件
3.打开表输入2,配置相关参数,
在这里,选择数据库连接,连接目标表,然后通过select max 从目标表中找到最大的时间戳或者增量字段;传到表输入
4.源表输入配置
打开“表输入”,需要关注的就是划圈的几个地方,从表输入2中插入一个值,然后SQL条件中的?就是用这个替代的;确定就OK了.
Zftang
本文介绍使用Kettle进行数据增量抽取的方法。主要步骤包括:通过最大时间戳或增量字段ID筛选数据,配置表输入读取源表,将符合条件的数据插入目标表。
1173

被折叠的 条评论
为什么被折叠?



