分布式计算框架Map/Reduce_移动分布计算框架-优快云博客

本文链接：https://blog.youkuaiyun.com/asdsdsd25/article/details/124392208

1、产生背景

Web2.0时代，数据爆炸式、指数级增长，大数据分布式计算需求频繁
通过单机内存扩展来增强计算能力，已经无法承载大规模数据量的计算
分布式计算开发和维护的复杂与多变，对程序员要求太高

Google公司为了解决其搜索引擎中大规模网页数据的并行化处理，研究提出的一种面向大规模数据处理的并行计算模型和方法，称为MapReduce。

2003年和2004年，Google公司在国际会议上分别发表了两篇关于Google分布式文件系统GFS和MapReduce的论文，公布了Google的GFS和MapReduce的基本原理和主要设计思想。

2004年，Cutting和同为程序员出身的Mike Cafarella决定开发一款可以代替当时的主流搜索产品的开源搜索引擎，这个项目被命名为Nutch。2005年初，Nutch的开发人员在Nutch上实现了一个MapReduce系统，到年中，Nutch的所有主要算法均完成移植，用MapReduce和NDFS来运行。在2006年2月，开发人员将NDFS和MapReduce移出Nutch形成Lucene的一个子项目，称为Hadoop。Hadoop中MapReduce的实现正是基于Google的论文的MapReduce的开源实现。

2、MapReduce是什么

MapReduce是一种编程模型，是面向大数据并行处理的计算模型、框架和平台。

MapReduce是一个基于集群的高性能并行计算平台。可以使用普通服务器构成一个包含数十、数百、甚至数千个节点的分布式和并行计算集群。
MapReduce是一个并行计算与运行的软件框架。它提供了一个庞大但设计精良的并行计算软件框架，能自动划分计算数据和计算任务，自动完成计算任务的并行化处理，实现在集群节点上自动分配和执行任务并收集计算结果，将数据分布存储、数据通信、容错处理等并行计算涉及到的很多系统底层的复杂实现细节交由系统负责处理，大大减少了软件开发人员的负担。
MapReduce是一个并行程序设计模型与方法。它提供了一种简便的并行程序设计方法，用Map和Reduce两个函数编程实现基本的并行计算任务，提供了抽象的操作和并行编程接口，以简单方便地完成大规模数据的编程和计算处理。

3、基本特点

分布可靠，对数据集的操作分发给集群中的多个节点实现可靠性，每个节点周期性返回它完成的任务和最新的状态
封装了实现细节，基于框架API编程，面向业务展开分布式编码
提供跨语言编程的能力

4、企业应用

各大运营商
中大型互联网公司，如BAT、京东、乐视、美团等
金融银行保险类公司
各大云平台的分布式计算框架
其他本地系统无法承载计算能力的应用

MapReduce运行流程

1、MapReduce的主要功能

1.1数据划分和计算任务调度

系统自动将一个作业(Job)待处理的大数据划分为很多个数据块，每个数据块对应于一个计算任务(Task)，并自动调度计算节点来处理相应的数据块。作业和任务调度功能主要负责分配和调度计算节点(Map节点或Reduce节点)，同时负责监控这些节点的执行状态，并负责Map节点执行的同步控制。

1.2数据/代码互相定位

为了减少数据通信，一个基本的原则是本地化数据处理，即一个计算节点尽可能处理其本地磁盘上所分布存储的数据，这实现了代码向数据的迁移；当无法进行这种本地化数据处理时，再寻找其他可用节点并将数据从网络上传送给该节点(数据向代码迁移)，但尽可能从数据所在的本地机架上寻找可用节点以减少通信延迟。

1.3系统优化

为了减少数据通信开销，中间结果数据进入Reduce节点前会进行一定的合并处理；一个Reduce节点所处理的数据可能会来自多个Map节点，为了避免Reduce计算阶段发生数据处理不平衡，Map节点输出的中间结果需使用一定的策略进行适当的划分处理，保证相关性数据发送到同一个Reduce节点；此外，系统还进行一些性能优化处理，如对最慢的计算任务采用多备份执行、选最快完成者作为结果。

1.4出错检测和恢复

以低端的商用服务器构成的大规模MapReduce计算集群中，节点硬件(主机、磁盘、内存等)出错和软件出错是常态，因此MapReduce需要能检测并隔离出错节点，并调度分配新的节点接管出错节点的计算任务。同时系统还将维护数据存储的可靠性，用多备份冗余存储机制提高数据存储的可靠性，并能及时检测和恢复出错的数据。

2、MapReduce的运行流程

2.1运行流程