本文介绍了如何使用Kettle工具实现数据的增量同步，包括新增数据插入、变化数据更新，以及源表数据删除时目标表数据的同步删除。讨论了业务上删除操作的潜在风险，并分享了设置合并记录和数据同步的具体步骤，强调了配置过程中的注意事项，如匹配字段选择、标志字段的处理等。最后提到了定时操作的设定以及不同源数据列名的处理方式，旨在为遇到类似问题的读者提供实践经验。
【【Kettle工具很强大，我只是小白◆◆】】
之前的业务需求是实现数据的增量同步，具体描述为：新增数据插入，变化数据更新，我使用输出中的插入更新即可。
现在业务提出新的需求：除前面描述外，还要实现源表数据删除时，目标表数据同样删除。
虽然我极其不推荐这样做，原因有三：
(1)数据库不应该真正存在delete操作，如果确实要删除一条数据的话，理论上应该在数据库中设置标志位，执行update，不向前端业务显示，但数据仍存在数据库中，便于追溯和回退；
(2)ETL实现删除数据的操作，一旦出现问题，很难查找和解释原因,容易出现互相扯皮和推诿现象；
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
