通过kettle工具，实现以下功能:（1）对文件merge.csv进行完全去重。（2）对文件people_survey.txt中的缺失值进行填充。

1.添加"CSV文件输入”和“唯一行（哈希值）”控件，新建一个转换。

2.配置“csv文件输入”控件

单击“预览”按钮，查看csv文件merge.csv的数据是否加载到csv文件输入流中。

 3、配置“唯一行（哈希值）”控件

 

4、运行转换完全去重 

  单击“Preview data”查看是否消除所要处理文件中完全重复的数据

缺失值填充

1.打开kettle工具，创建转换

 2.配置“文本文件输入”

 点击”内容“选项卡，去除分隔符处的默认分隔符”；“，单击”Insert TAB“按钮，在分隔符处插入一个制表符；取消头部勾选，完成内容选项卡的配置 。

3、配置“过滤记录”控件

可以看出字段userid为000016用户的hours_per_week存在缺失值，而它的workclass字段值为Private，因此可以将过滤字段设置为workclass、过滤值设置为Private作为过滤条件

 4、配置“替换NULL值”控件

 

 5、配置“合并记录”控件

 

6、配置“替换NULL值2”控件 

 

 7、配置“字段选择”控件

8、运行转换