原来这就是MapReduce！-优快云博客

本文公众号来源：互联网侦察作者：channingbreeze

最近我也在入门大数据相关的基础，这篇文章非常通俗易懂讲解了什么是MapReduce，推荐阅读！

640?wx_fmt=jpeg

找到工作后的一小段时间是清闲的，小史把新租房收拾利索后，就开始找同学小赵，小李和小王来聚会了。

吃过午饭后，下午没事，四个人一起商量来打升级。打升级要两副扑克牌，小史就去找吕老师借牌去了。

640?wx_fmt=jpeg

【多几张牌】

640?wx_fmt=jpeg

吕老师给小史拿出一把牌。

640?wx_fmt=jpeg

【map-reduce】

640?wx_fmt=jpeg

（注意，如果有两幅完整的牌，那么小赵手中的黑桃A一定不少于2张，因为其他人手中已经不可能有黑桃A了，图中的数据只是演示。）

640?wx_fmt=jpeg

【hadoop中的map-reduce】

640?wx_fmt=jpeg

吕老师：过程看上去很简单，但是要实现并不简单，要考虑很多异常情况，幸好开源项目hadoop已经帮我们实现了这个模型，我们用它很简单就能实现map-reduce。

640?wx_fmt=jpeg

吕老师：hadoop是一个分布式计算平台，我们只要开发map-reduce的作业(job)，然后提交到hadoop平台，它就会帮我们跑这个map-reduce的作业啦。

640?wx_fmt=jpeg

map阶段：

public static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable> {  protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, LongWritable>.Context context) throws java.io.IOException, InterruptedException {    String card = value.toString();    context.write(new Text(card), new LongWritable(1L));  };}static class MyMapper extends Mapper<LongWritable, Text, Text, LongWritable> {
  protected void map(LongWritable key, Text value, Mapper<LongWritable, Text, Text, LongWritable>.Context context) throws java.io.IOException, InterruptedException {
    String card = value.toString();
    context.write(new Text(card), new LongWritable(1L));
  };
}

(友情提示：可左右滑动)

640?wx_fmt=jpeg

吕老师：申明不用看，主要看map方法，它有三个参数，key、value和context，逻辑也很简单，其实就是用context.write往下游写了一个(card,1)的映射关系。

640?wx_fmt=jpeg

reduce阶段：

public static class MyReducer extends Reducer<Text, LongWritable, Text, LongWritable> {  protected void reduce(Text key, java.lang.Iterable<LongWritable> values, Reducer<Text, LongWritable, Text, LongWritable>.Context context) throws java.io.IOException, InterruptedException {    long count = 0L;    for (LongWritable value : values) {      count += value.get();    }    context.write(key, new LongWritable(count));  };}static class MyReducer extends Reducer<Text, LongWritable, Text, LongWritable> {
  protected void reduce(Text key, java.lang.Iterable<LongWritable> values, Reducer<Text, LongWritable, Text, LongWritable>.Context context) throws java.io.IOException, InterruptedException {
    long count = 0L;
    for (LongWritable value : values) {
      count += value.get();
    }
    context.write(key, new LongWritable(count));
  };
}