Map-Reduce数据分析之一（实例2通话清单分析）

阳光总是那么灿烂

于 2014-11-11 09:20:05 发布

阅读量1.2k

点赞数

分类专栏： Hadoop

本文链接：https://blog.youkuaiyun.com/he_xiang_/article/details/41006893

版权

该博客介绍了如何使用Map-Reduce处理一批电话通信清单，通过实例展示了如何建立一个倒排索引，以便找出拨打给特定用户的所有其他用户。文章详细解析了map和reduce阶段的操作，map阶段将10086作为key，135开头的电话号码作为value，而reduce阶段则将相同key的value合并，形成完整的拨打者列表。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

实例要求：

给出一个文档：包含一批电话通信清单，记录了用户A拨打用户B的记录;
需要做一个倒排索引，记录拨打给用户B的所有用户A。

文档内容：

分析：

map：将每行记录按空格符划分出两个数据，一个10086作为key值，一个135.。。作为value

reduce：将相同key值的value放到迭代器里，然后迭代将其value串起来。

代码如下：

import java.io.IOException;
import java.io.InputStream;
import java.io.OutputStream;
import java.util.Set;
import java.util.StringTokenizer;

import javax.lang.model.SourceVersion;
import org.apache.hadoop.util.Tool;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.

最低0.47元/天解锁文章