大数据技术原理与应用4MapReduce、数据仓库Hive、Hadoop再探讨

第7讲 MapReduce

7.1 MapReduce概述

7.1.1 分布式并行编程

“摩尔定律”， CPU性能大约每隔18个月翻一番
•从2005年开始摩尔定律逐渐失效 ，需要处理的数据量快速增加，人们开始借助于分布式并行编程来提高程序性能

•分布式程序运行在大规模计算机集群上，可以并行执行大规模数据处理任务，从而获得海量的计算能力
•谷歌公司最先提出了分布式并行编程模型MapReduce，Hadoop MapReduce是它的开源实现，后者比前者使用门槛低很多

问题：在MapReduce出现之前，已经有像MPI这样非常成熟的并行计算框架了， 那么为什么Google还需要MapReduce？MapReduce相较于传统的并行计算框架有什么优势？

7.1.2 MapReduce模型简介

•MapReduce将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map和Reduce
•编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式系统上，完成海量数据的计算 •MapReduce采用**“分而治之”策略**，一个存储在分布式文件系统中的大规模数据集，会被切分成许多独立的分片（split），这些分片可以被多个Map任务并行处理
•MapReduce设计的一个理念就是**“计算向数据靠拢”，而不是“数据 向计算靠拢”，因为，移动数据需要大量的网络传输开销



•MapReduce框架采用了Master/Slave架构**，包括一个Master和若干个Slave。 Master上运行JobTracker，Slave上运行TaskTracker

•Hadoop框架是用Java实现的，但是，MapReduce应用程序则不一定要用Java来写

7.1.3 Map和Reduce函数

7.2 MapReduce的体系结构

MapReduce体系结构主要由四个部分组成，分别是：Client、JobTracker、 TaskTracker以及Task

MapReduce主要有以下4个部分组成：
1）Client
•用户编写的MapReduce程序通过Client提交到JobTracker端
•用户可通过Client提供的一些接口查看作业运行状态

2）JobTracker
•JobTracker负责资源监控和作业调度
•JobTracker 监控所有TaskTracker与Job的健康状况，一旦发现失败，就将相应的任务转移到其他节点
•JobTracker 会跟踪任务的执行进度、资源使用量等信息，并将这些信息告诉任务调度器 （TaskScheduler），而调度器会在资源出现空闲时，选择合适的任务去使用这些资源

3）TaskTracker
执行具体的相关任务，一般接收JobTracker 发来的命令
•TaskTracker 会周期性地通过“心跳”将本节点上资源的使用情况和任务的运行进度汇报 给JobTracker，同时接收JobTracker 发送过来的命令并执行相应的操作（如启动新任务、 杀死任务等）
•TaskTracker 使用**“slot”等量**划分本节点上的资源量（CPU、内存等）。一个Task 获取到 一个slot 后才有机会运行，而Hadoop调度器的作用就是将各个TaskTracker上的空闲slot分 配给Task使用。slot 分为Map slot 和Reduce slot 两种，分别供MapTask 和Reduce Task 使用

两个slot不通用

4）Task Task 分为Map Task 和Reduce Task 两种，均由TaskTracker 启动 Client

7.3 MapReduce工作流程

7.3.1 工作流程概述

对大的数据集进行分片操作

•不同的Map任务之间不会进行通信 （map任务的输入是keyvalue，输出也是keyvalue）
•不同的Reduce任务之间也不会发生任何信息交换
•用户不能显式地从一台机器向另一台机器发送消息
•所有的数据交换都是通过MapReduce框架自身去实现的
输入输出都是HDFS

7.3.2 MapReduce各个执行阶段

首先要从分布式文件系统HDFS中加载文件 ，加载读取是由InputFormat模块来完成的，要负责对输入进行格式验证，要把一个大的输入文件分成片。只是逻辑上的切分，由记录阅读器去具体根据分片的位置长度信息去底层的HDFS中找到各个块 ，把相关的分片给读出来，输出keyvalue的形式。因为mapreduce中map函数只接受keyvalue形式的数据。然后进行处理，形成中间结果，经过分区、排序、合并、归并，然后才能分发给对应的reduce去处理，然后才进行输出。

HDFS 以固定大小的block 为基本单位存储数据，而对于MapReduce 而言，其 处理单位是split。split 是一个逻辑概念，它只包含一些元数据信息，比如数据起始位置、数据长度、数据所在节点等。它的划分方法完全由用户自己决定。
分片和块是不同的概念。
Map任务的数量
•Hadoop为每个split创建一个Map任务，split 的多少决定了Map任务的 数目。大多数情况下，理想的分片大小是一个HDFS块 分片和map的数量是一样的。一般来说，用一个块的大小作为一个分片大小，64M。
Reduce任务的数量
•最优的Reduce任务个数取决于集群中可用的reduce任务槽(slot)的数目
•通常设置比reduce任务槽数目稍微小一些的Reduce任务个数（这样可 以预留一些系统资源处理可能发生的错误）

7.4 Shuffle过程原理

只放大画出了一个map任务和一个reduce任务

2. Map端的Shuffle过程

1输入数据和执行Map任务
2写入缓存
3 溢写（分区、排序、合并）
4 文件归并

•每个Map任务分配一个缓存
•MapReduce默认100MB缓存
•设置溢写比例0.8 （不能等满了才去溢写）

•分区默认采用哈希函数 （4个reduce要分四个区）
•排序是默认的操作 （不需要用户干预）
•排序后可以合并（Combine）
•合并不能改变最终结果

•在Map任务全部结束之前进行归并
•归并得到一个大的文件，放在本地磁盘
•文件归并时，如果溢写文件数量大于预定值（默认是3）则可以再次启动Combiner，少于3不需要
•JobTracker会一直监测Map任务的执行，并通知 Reduce任务来领取数据

合并（Combine）和归并（Merge）的区别：
两个键值对<“a”,1>和<“a”,1>，如果合并，会得到<“a”,2>，如果归并，会得到<“a”,<1,1>>

3. Reduce端的Shuffle过程
   
   •Reduce任务通过RPC向JobTracker询问Map任务是否已经完成，若完成，则领取数据
   •Reduce领取数据先放入缓存，来自不同Map机器，先归并，再合并，写入磁盘
   •多个溢写文件归并成一个或多个大文件，文件中的键值对是排序的
   •当数据很少时，不需要溢写到磁盘，直接在缓存中归并，然后输出给Reduce

7.5 MapReduce应用程序执行过程

分为6个步骤
首先用户写完MapReduce应用程序以后，第一步要进行程序的部署，把程序分布到不同的机器上，要从整个集群当中选出相关的机器，有些机器作为Master，Master只有一个，然后其他机器作为Worker，Master机器作为一个管家的角色，上面运行JobTracker，Worker可以执行map任务也可以执行reduce任务，当然要在一堆Worker当中，选出一部分Worker去执行map任务，选出另外一部分Worker做reduce任务。所以要把执行的用户逻辑分发到这些机器上去，这是第一步，完成程序的部署。

第二步，集群中已经有这么多的worker，加下来就要选出一部分的worker，把它作为执行map任务的机器，另外一部分的worker把它作为执行reduce任务的机器，然后对于执行map任务的机器，因要要执行map任务，所以要给它输入数据，输入数据一般都是一个非常大的文件，所以要对文件进行拆分。要对一个大的数据集进行分片，分成多个片段，然后需要从集群中执行map任务的机器里面选出几个空闲的机器，让它去执行数据分片的处理。

接下来进入第三个过程，从分布式文件系统各个分片中把数据读入，读入以后生成相关的(key,value)键值对，然后提交给map任务去执行，map里面包含了用户编写的应用程序处理逻辑，然后会输出一堆的相关的（key,value），输出结果不是直接写入磁盘，也不是直接发送给reduce任务，而是先写到缓存，这样就完成了第三步。

第四步是把缓存当中的数据写到磁盘，一旦写满以后，就要写到磁盘，要把缓存当中的数据经过分区排序或者可能 发生的合并操作，再把它写到磁盘当中去，写到磁盘以后就生成一个大的文件，这个文件当中包含的是很多个分区的数据，然后这个分区中的数据都是排序的合并以后的数据，这些数据要发送给远端的reduce任务去处理。

第五步远程读数据，负责执行相关reduce任务的机器，会从各个相关的map任务机器，把属于自己处理的数据都拉回去，拉回到本地进行相关的处理，处理完以后执行用户自定义的reduce函数，完成数据处理，处理结果就是一堆的键值对。

第六步，把相关的结果写到输出文件当中去 ，这个输出文件会写入分布式文件系统HDFS。

分为5个阶段;
HDFS-输入文件、map阶段、中间文件、reduce阶段、输出文件-HDFS
中间的过程是不写入HDFS的，而是写到磁盘

7.6 实例分析：WordCount

7.6.1 WordCount程序任务

只有能够满足分而治之的任务才能采用mapreduce去做。有依赖的就不能这么做。

7.6.2 WordCount设计思路

• 首先，需要检查WordCount程序任务是否可以采用MapReduce来实现
• 其次，确定MapReduce程序的设计思路
• 最后，确定MapReduce程序的执行过程

7.6.3 一个WordCount执行过程的实例

Map过程示意图

用户没有定义Combiner时的Reduce过程示意图

用户有定义Combiner时的Reduce过程示意图

7.7 MapReduce的具体应用

MapReduce可以很好地应用于各种计算问题
• 关系代数运算（选择、投影、并、交、差、连接）
• 分组与聚合运算
• 矩阵-向量乘法
• 矩阵乘法

用MapReduce实现关系的自然连接

• 假设有关系R(A，B)和S(B,C)，对二者进行自然连接操作
• 使用Map过程，把来自R的每个元组<a,b>转换成一个键值对<b, <R,a>>，其中的键就是属性B的值。把关系R包含到值中，这样做使得我们可以在 Reduce阶段，只把那些来自R的元组和来自S的元组进行匹配。类似地，使用Map过程，把来自S的每个元组<b,c>，转换成一个键值对<b,<S,c>>
• 所有具有相同B值的元组被发送到同一个Reduce进程中，Reduce进程的任务是，把来自关系R和S的、具有相同属性B值的元组进行合并
• Reduce进程的输出则是连接后的元组<a,b,c>，输出被写到一个单独的输出文件中