数据清洗小记 11 Kettle 利用设置变量实现数据增量（小例）

                       

【背景】
利用kettle工具，完成某表的增量工作。
【解决】
利用模块完成即可，如下简图：

【实验】
先手工准备一个实验环境：
准备基本完成如下效果：
select t.*, t.rowid from EMP_ETL t

select max(hiredate) maxsj from EMP_ETL

我们验证将2015年10月22日的数据插入目标表中。
创建目标表：
create table EMP_ETL_1 as select * from EMP_ETL t where 1=2;
此时EMP_ETL_1数据为空，我们只插入hiredate 为2015/10/22的数据。
可以看到有两条数据符合这个条件，如下图所示：

编写时间戳ktr转换过程，把原表中最大的hiredate作为变量，如下图：