MapReduce入门+编程wordcount实例

一、MapReduce

1 MapReduce定义

MapReduce是一种分布式运算程序的框架，是用户开发“基于Hadoop的数据分析应用”的核心框架，Mapreduce核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个hadoop集群上。

2 MapReduce的优缺点

2.1 优点

易于编程，使用户开发代码就像写简单的串行程序一样。

可以处理PB（1PB=1024TB=10 6GB=10 9MB=10 12KB=10 15B以上的海量数据

高容错性（副本）

良好的扩展性

2.2缺点

不适合处理实时数据

不适合处理流式（动态）数据

不适合处理有向图数据

3 MapRuduce核心思想

4 MapReduce进程

一个完整的mapreduce程序在分布式运行时有三类实例进程：

1）MrAppMaster：负责整个程序的过程调度及状态协调。

2）MapTask：负责map阶段的整个数据处理流程。

3）ReduceTask：负责reduce阶段的整个数据处理流程。

5 MapReduce编程规范（八股文）

用户编写的程序分成三个部分：Mapper，Reducer，Driver(提交运行mr程序的客户端)

1）Mapper阶段

（1）用户自定义的Mapper要继承自己的父类

（2）Mapper的输入数据是KV对的形式（KV的类型可自定义）

（3）Mapper中的业务逻辑写在map()方法中

（4）Mapper的输出数据是KV对的形式（KV的类型可自定义）

（5）map()方法（maptask进程）对每一个<K,V>调用一次

2）Reducer