编写mapreduce程序实例——数据去重

zmysang

于 2016-05-09 11:04:09 发布

阅读量4.8k

点赞数 3

分类专栏： hadoop学习文章标签： mapreduce 实例数据去重

本文链接：https://blog.youkuaiyun.com/u010223431/article/details/51320141

版权

这篇博客通过实例展示了如何使用MapReduce处理数据去重问题。内容包括多个输入文件，每个文件包含日期和人名，存在重复数据。通过MapReduce的map和reduce阶段，详细解释了去重操作的实现过程，最后得到了无重复数据的输出结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

每一行为一个日期及一个人名字，分为3个文件，其中存在多行重复数据，需要进行去重。

输入文件：

file1：
2006-6-9 a
2006-6-11 b
2006-6-21 c
2006-6-10 a
2006-6-11 b
2006-6-30 e
2006-6-9 a
2006-6-26 d

file2:
2006-6-9 a
2006-6-11 b
2006-6-9 a
2006-6-21 c
2006-6-11 b
2006-6-9 a
2006-6-30 e

file3:
2006-6-9 a
2006-6-11 b
2006-6-9 a
2006-6-21 c
2006-6-11 b
2006-6-26 d

期望输出：
2006-6-9 a
2006-6-10 a
2006-6-11 b
2006-6-21 c
2006-6-26 d
2006-6-30 e

这里写图片描述

编写代码：

package zmy.examples;  

import java.io.IOException;
import java.util.StringTokenizer;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs

最低0.47元/天解锁文章