Hadoop生态之MapReduce

MapReduce概念
Mapreduce是一个分布式运算程序的编程框架，是用户开发“基于hadoop的数据分析应用”的核心框架；
Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。

MapReduce优缺点
优点
MapReduce 易于编程：它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的 PC 机器运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。 就是因为这个特点使得 MapReduce 编程变得非常流行。
良好的扩展性：当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。
高容错性：MapReduce 设计的初衷就是使程序能够部署在廉价的 PC 机器上，这就要求它具有很高的容错性。比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上面上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由 Hadoop 内部完成的。
高吞吐量：适合 PB 级以上海量数据的离线处理。这里加红字体离线处理，说明它适合离线处理而不适合在线处理。比如像毫秒级别的返回一个结果，MapReduce 很难做到。
缺点
不支持实时计算。MapReduce 无法像 Mysql 一样，在毫秒或者秒级内返回结果。
不支持流式计算。流式计算的输入数据时动态的，而 MapReduce 的输入数据集是静态的，不能动态变化。这是因为 MapReduce 自身的设计特点决定了数据源必须是静态的。
不支持DAG（有向图）计算。多个应用程序存在依赖关系，后一个应用程序的输入为前一个的输出。在这种情况下，MapReduce 并不是不能做，而是使用后，每个MapReduce 作业的输出结果都会写入到磁盘，会造成大量的磁盘IO，导致性能非常的低下。

MapReduce核心思想
1.分布式的运算程序往往需要分成至少2个阶段。
2.第一个阶段的maptask并发实例，完全并行运行，互不相干。
3.第二个阶段的reduce task并发实例互不相干，但是他们的数据依赖于上一个阶段的所有maptask并发实例的输出。
4.MapReduce编程模型只能包含一个map阶段和一个reduce阶段，如果用户的业务逻辑非常复杂，那就只能多个mapreduce程序，串行运行。

MapReduce工作流程
split阶段
首先mapreduce会根据要运行的大文件来进行split，每个输入分片(input split)针对一个map任务，输入分片(InputSplit)存储的并非数据本身，而是一个分片长度和一个记录数据位置的数组。输入分片(InputSplit)通常和HDFS的block(块)关系很密切，假如我们设定HDFS的块的大小是128MB，我们运行的大文件是128x10MB，MapReduce会分为10个MapTask，每个MapTask都尽可能运行在block(块)所在的DataNode上，体现了移动计算不移动数据的思想。
map阶段
map阶段就是执行自己编写的Mapper类中的map函数，Map过程开始处理，MapTask会接受输入分片，通过不断的调用map()方法对数据进行处理。处理完毕后，转换为新的<KEY,VALUE>键值对输出。
Shuffle阶段（面试重点）
shuffle阶段主要负责将map端生成的数据传递给reduce端，因此shuffle分为在map端的过程和在reduce端的执行过程。具体过程如下：
（1）MapTask收集map()方法的输出<KEY,VALUE>对，放到内存缓冲区（称为环形缓冲区）中，其中环形缓冲区的大小默认是100MB。
（2）环形缓冲区到达一定阈值（环形缓冲区大小的80%）时，会将缓冲区中的数据溢出本地磁盘文件，这个过程中可能会溢出多个文件。
（3）多个溢出文件会被合并成大的溢出文件。
（4）在溢出过程中，及合并的过程中，都要调用Partitioner进行分区和针对key进行排序sort。
（5）合并成大文件后，shuffle的过程也就结束了，后面进入reducetask的逻辑运算过程。
Reduce阶段
Reduce对Shffule阶段传来的数据进行最后的整理合并。Reduce根据自己的分区号，去各个maptask机器上取相应的结果分区数据。ReduceTask会取到同一个分区的来自不同MapTask的结果文件，ReduceTask会将这些文件再进行合并（归并排序），从文件中取出一个一个的键值对group，调用用户自定义的reduce()方法，生成最终的输出文件。
注意
Shuffle中的缓冲区大小会影响到MapReduce程序的执行效率，原则上说，缓冲区越大，磁盘io的次数越少，执行速度就越快。
缓冲区的大小可以通过参数调整，参数：io.sort.mb 默认100M。

MapReduce进程
一个完整的mapreduce程序在分布式运行时有三类实例进程：
1.MrAppMaster：负责整个程序的过程调度及状态协调。
2.MapTask：负责map阶段的整个数据处理流程。
3.ReduceTask：负责reduce阶段的整个数据处理流程。

MapReduce编程规范
Mapper阶段
（1）用户自定义的Mapper要继承自己的父类
（2）Mapper的输入数据是KV对的形式（KV的类型可自定义）
（3）Mapper中的业务逻辑写在map()方法中
（4）Mapper的输出数据是KV对的形式（KV的类型可自定义）
（5）map()方法（maptask进程）对每一个<K,V>调用一次
Reducer阶段
（1）用户自定义的Reducer要继承自己的父类
（2）Reducer的输入数据类型对应Mapper的输出数据类型，也是KV
（3）Reducer的业务逻辑写在reduce()方法中
（4）Reducetask进程对每一组相同k的<k,v>组调用一次reduce()方法
Driver阶段
整个程序需要一个Drvier（包含main函数）来进行提交，提交的是一个描述了各种必要信息的job对象，将Mapper和Reducer整合

这是我总结的思维导图：