MapReduce

MapReduce思想

• MapReduce的核心思想是“先分再合，分而治之”。
• 所谓“分而治之”就是把一个复杂的问题，按照一定的“分解”方法分为等价的规模较小的若干部分，然后逐个解决，分别找出各个部分的结果，然后把各部分的结果组成整个问题的最终结果。
• 这种思想来源于日常生活与工作时的经验。即使是发布过论文实现分布式计算的谷歌也只实现了这种思想，而不是自己创始。
• Map表示第一阶段，负责“拆分”：即把负责的任务分解为若干个“简单的子任务”来并行处理。可以进行拆分的前提是这些小任务可以并行计算，彼此间几乎没有依赖关系。
• Reduce表示第二阶段，负责“合并”：即对map阶段的结果进行全局汇总。
• 这两个阶段合起来正是MapReduce思想的体现。

MapReduce的设计构思

如何对付大数据处理场景

• 对相互间不具有计算依赖关系的大数据计算任务，实现并行最自然的办法就是采取MapReduce分而治之的策略
• 首先Map阶段进行拆分，把大数据拆分成若干份小数据，多个程序同时并行计算产生中间结果；然后是Reduce聚合阶段，通过程序对并行的结果进行最终的汇总计算，得出最终的结果。
• 不可拆分的计算任务或者相互间有依赖关系的数据无法进行并行计算！

构建抽象编程模型

• MapReduce借鉴了函数式语言的思想，用Map和Reduce两个函数提供了高层的并行编程抽象模型。
  map：对一组数据元素进行某种重复式的处理；
  reduce：对Map的中间结果进行某种进一步的结果整理。

• MapReduce中定义了如下的Map和Reduce两个抽象的编程接口，由用户编程去实现：
  map：(k1;v1)→(k2;v2)
  reduce：(k2;[v2])→(k3;v3)

• 通过以上两个编程接口，大家可以看出MapReduce处理数据类型是<key,value>键值对。

统一架构、隐藏底层细节

• 如何提供统一的计算框架，如果没有统一封装底层细节，那么程序员则需要考虑诸如数据存储、划分、分发、结果、收集、错误恢复等诸多细节；为此，MapReduce设计并提供了统一的计算框架，为程序员隐藏了绝大多数系统层面的处理细节。
• MapReduce最大的亮点在于通过抽象模型和计算框架把需要做什么（what nedd to do）与具体怎么做（how to do）分开了，为程序员提供了一个抽象和高层的编程接口和框架。
• 程序员仅需要关心其应用层的具体计算问题，仅需编写少量的处理应用本身计算问题的业务程序代码。
• 至于如何具体完成这个并行计算任务所相关的诸多系统层细节被隐藏起来，交给计算框架去处理：从分布代码的执行，到大到数千小到单个节点集群的自动调度使用。

MapReduce介绍

分布式计算概念

• 分布式计算是一种计算方法和集中式计算是相对的
• 随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。
• 分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。

MapReduce介绍

• Hadoop MapReduce是一个分布式计算框架，用于青松编写分布式应用程序ÿ