通过mapReduce实现对单词的统计及遇到的问题点

原创

已于 2022-08-13 19:43:12 修改 · 1.7k 阅读

11 ·

CC 4.0 BY-SA版权

文章标签：

#mapreduce #java #大数据

于 2022-08-12 22:18:35 首次发布

本文介绍MapReduce模型及其在单词统计中的应用，包括Map和Reduce方法的定义与实现，通过具体示例展示如何统计文件中单词的频率，并解决常见的异常问题。

一、MapReduce概念

MapReduce是一种分布式计算模型，主要用于搜索领域，解决海量数据的计算问题. 由两个阶段组成：Map和Reduce，

Map阶段对数据集上的独立元素进行指定操作，生成键值对形式中间结果；Reduce则对中间结果中相同的值进行规约，以得到最终的结果

二、实现对单词的统计

目标：对文件hello.txt中单词进行统计

1、定义map方法

    public static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable> {

        @Override
        protected void map(LongWritable k1, Text v1, Context context) throws IOException, InterruptedException {
            //接受传入进来的一行文件，把数据类型转成String,并把这行内容按照分割符切割
            String[] words = v1.toString().split("");
            //遍历数组，每出现一个单词就标志一个数组1，列入<单词，1>
            for (String word : words) {
                Text k2 = new Text(word);
                LongWritable V2 = new LongWritable(1L);
                //使用context,把map阶段处理的数据发送给Reduce阶段作为输入数据