大数据之Hadoop生态圈中的MapReduce学习

版权声明：本文为博主原创文章，未经博主允许不得转载。

大数据之MapReduce学习（简易见解）

前言
继我们上篇讲了HDFS的客户端操作之后，我们今天来分享一下Hadoop生态圈中第二个重要组成部分——MapReduce。

一、MapReduce入门
首先我们要知道MapReduce是在Hadoop生态圈中是个什么位置能做什么。

1.1MapReduce定义
MapReduce是一种分布式运算程序的编程模型，是用户开发“基于hadoop的数据分析应用”的核心框架，用于大规模数据集（大于1TB）的并行运算。
Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。

那么我们为什么要使用MapReduce呢？
1.2 MapReduce优缺点

• 1.2.1 MapReduce的优点
  1）易于编程
  它简单的实现一些接口，就可以完成一个分布式程序，这个分布式程序可以分布到大量廉价的PC机器上运行。也就是说你写一个分布式程序，跟写一个简单的串行程序是一模一样的。就是因为这个特点使得MapReduce编程变得非常流行。
  2）良好的扩展性
  当你的计算资源不能得到满足的时候，你可以通过简单的增加机器来扩展它的计算能力。
  3）高容错性
  MapReduce设计的初衷就是使程序能够部署在廉价的PC机器上，这就要求它具有很高的容错性。比如其中一台机器挂了，它可以把上面的计算任务转移到另外一个节点上运行，不至于这个任务运行失败，而且这个过程不需要人工参与，而完全是由Hadoop内部完成的。
  4）适合PB级以上海量数据的离线处理
  这里加粗的离线处理，说明它适合离线处理而不适合在线处理。比如像毫秒级别的返回一个结果，MapReduce很难做到。
• 1.2.2 MapReduce的缺点
  MapReduce不擅长做实时计算、流式计算、DAG（有向图）计算。
  1）实时计算。
  MapReduce无法像Mysql一样，在毫秒或者秒级内返回