本文介绍了如何利用MapReduce在HDFS上进行数据去重操作。首先，将两个包含重复数据的文件file1和file2上传到HDFS的file文件夹中。接着，将Java代码打包成jar文件并上传到HDFS。最后，通过执行`hadoop jar xxx.jar /file /fileOut`命令，运行MapReduce任务以去除重复数据。
有两个文件file1,file2 里面的数据如下
file1：
2016-6-1 b
2016-6-2 a
2016-6-3 b
2016-6-4 d
2016-6-5 a
2016-6-6 c
2016-6-7 d
2016-6-3 c
file2：
2016-6-1 a
2016-6-2 b
2016-6-3 c
2016-6-4 d
2016-6-5 a
2016-6-6 b
2016-6-7 c
2016-6-3 c
数据去重
在MapReduce流程中，map的输出<key，value>经过shuffle过程聚集成<key，val
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
