在处理数据时，Kettle的去除重复记录步骤能有效去除重复行，尤其适用于部分字段不同的情况。该步骤允许指定字段去重，只需添加在需要的位置。通过设置对比字段，排序和关联，可以实现高效去重。成功运行转换后，Kettle展示其在数据处理中的实用性。
前(fei)言(hua)
在填充数据的时候，如果是测试数据，我们会经常发现有重复数据，这时候我们可以在表输入中，使用 distinct 语句去重，但是如果几行重复数据中，有一些诸如创建时间、更新时间等无关字段不同时，语句去重就达不到目的，这时候，我们就可以用PDI提供的去除重复记录步骤来实现，它的方便不在于能去除重复行数据，甚至可以去重指定字段，你只需在需要去重的步骤后添加即可。
- 搜索步骤去除重复记录，拖放到表输入和记录集连接间，当连接线变粗时，如下，系统会提示：
- 拆分节点后，双击步骤编辑，添加要对比的字段：
- 点击确定，会提示：
- 在表输入SQL语句中根据字段排序，这里需要先排序id，否则关联时无法按序关联：
- 完成连接后的转换如图所示：
最后点击运行，成功转换。kettle 还提供了许多实用的功能，大家可以按实际情况取用，现在让我们进入下一章，收尾工作。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
