MapReduce编程模型

记录一下MapReduce的编程模型，文笔不好，水分较多

MapReduce把对大数据集的操作分发给主节点管理下的各个从节点共同完成，然后通过整合各个节点的数据，而得到最终的结果。
简单的说MapReduce：就是将任务分解然后再汇总

在hadoop中，执行hadoop任务的角色是JobTracker和TaskTracker
JobTracker：用于任务调度
TaskTracker：用于执行任务
（一个集群中只有一个JobTracker）

在分布式计算中，MapReduce负责处理并行编程中分布式储存、任务调度、容错机制，负载均衡、网络通信等问题。
处理程序分为两个函数：Map和Reduce
Map：负责将任务分解成多个任务
Reduce：负责把分解后的任务处理结果进行整合汇总

画个图好理解

1、MR任务：job = map + reduce
2、map的输出是reduce的输入
3、一共有四队输入输出，所有的输入输出都是<key, value>

键值对	对应的操作
<k1,v1>	map的输入
<k2,v2>	map的输出
<k3,v3>	reduce的输入
<k4,v4>	reduce的输出

4、<k3,v3>和<k2,v2>：数据类型是一样的；区别：v3是一个集合，里面的每一个元素就是v2
5、map的输入是HDFS，reduce的输出也是HDFS
6、所有的输入输出类型必须是hadoop自己的数据类型

Java数据类型	hadoop数据类型
int	IntWritable
long	LongWritable
String	Text
null	NullWritable

为什么要用hadoop自己的数据类型，因为要实现序列化