kettle-2（实现增量更新-插入&更新）

？由来：需要将一个系统的数据（MySQL）抽取到另一个系统（Oracle），使用ETL方式。随着数据量的增加，全量同步数据不可行，所以得做增量更新。业务数据表有主键，除了新增外，以前同步的数据非主键信息可能会发生更改。

 

1.看了下网上的思路，有一种是这样的（A代表表名）：一句话概括-通过主键对比找到新增行-同步数据。

　　①select max(id) from mysql.A；===>>>找出MySQL中的最大ID；

　　②select * from oralce.A where a.id > ?；===>>>?代表①的max(id)，找出oracle中比MySQL.max(id)大的ID；

　　③insert into mysql.A value = ②；===>>>将②中数据插入mysql；

　　第一步没什么滑头，第二步如下：

　　第三步如下：

　　*上述方法没有问题，但是在初始化的时候行不通，原因是步骤①-mysql.A中没数据时，即max(id)=null，导致带入第 ②步的and条件的id > null ,即varchar > null,数据不会写到MySQL，当MySQL中有一条符合条件的ID时，是可行的。

 

2.在转换中新增的“插入/更新”时其实已经包含了两个动作-插入和更新，所以可以去掉1中的比较结果集步骤：

　　①找出oracle.A中的所有符合条件的数据；

　　②将上一步找到的数据通过ID字段和MySQL中的对比，做出更新动作；

　　　　*这里的更新包含2层含义：

　　　　　　*更新：如果ID = ID，ID字段不更新，其他字段更新，即ID更新=N，其他字段更新=Y；

　　　　　　*新增：如果ID != ID，在以上范围外，新增；

　　*可以先同步三条数据到mysql.A；然后再在oracle.A中增加一条数据，修改一条数据的非ID字段，执行下看下效果。

 

3.补充说明：若删除了oracle.A中已同步到mysql.A的数据时，执行操作后不会影响mysql.A中的这条数据。

转载于:https://www.cnblogs.com/stuka/p/11245623.html