一个入门程序带你详解MapReduce工作原理

最新推荐文章于 2021-11-17 15:19:53 发布

倪檬

最新推荐文章于 2021-11-17 15:19:53 发布

阅读量248

点赞数 1

CC 4.0 BY-SA版权

分类专栏：学习小结文章标签： MapReduce WordCount

本文链接：https://blog.youkuaiyun.com/weixin_43716164/article/details/92383269

说到入门程序，我们一定会想到刚接触C或java时控制台输出的Hello world！
在MapReduce中，入门级程序则是WordCount，计算每个单词出现的次数
首先，我们要初步的了解他的工作原理

我们创建测试数据

将它上传到HDFS 红框我的文件名后面的路径是我HDFS上存储路径

在eclipse上可以看到我们上传的数据

上代码 请务必先看一遍源码，注释非常详细
Job类，通过Job类设置Map和Reduce设置属性，相当于一个控件，我们通过job来控制和使用MapReduce

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
im