本文详细分析了MapReduce在实现WordCount问题中的处理过程，包括文件拆分、Map函数、Reduce函数的工作原理，以及最终的代码实现。通过MapReduce，可以统计每个单词在数据集中的总出现次数。
一、问题描述
用MapReduce统计每个单词在整个数据集中出现的总次数（WordCount）。
二、MapRedeuce对Wordcount的处理过程如下：
1.将文件拆分成splits，由于测试用的文件较小，所以每个文件为一个split，并将文件按行分割形成<key,value>对，下图所示。这一步由MapReduce框架自动完成，其中偏移量（即key值）包括了回车所占的字符数（Windows/Linux环境不同）。
2.将分割好的<key,value>对交给用户定义的map方法进行处理，生成新的<key,value>对，下图所示。
3.得到map方法输出的<key,value>对后，Mapper会将它们按照key值进行排序，得到
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
