分布式计算框架Map/Reduce

一、分布式计算框架MapReduce

1、MapReduce是什么

面向大数据并行处理的计算模型、框架和平台。

2、特点

分布可靠，对数据集的操作分发给集群的多个节点实现可靠性，每个节点周期性返回它完成的任务和最新的状态
封装了实现细节，基于框架API编程，面向讹误展开分布式编码
提供跨语言编程的能力

3、企业应用

各大运营商、中大型互联网公司、金融银行保险类公司等

二、MapReduce运行流程

1、MapReduce的主要功能

数据划分和计算任务调度
系统优化
出错检测和恢复

2、MapReduce的运行流程

2.1运行流程

步骤：
1）正式提交作业代码，对输入的数据源进行切片
2）master调度worker执行map任务
3）worker读取输入源切片
4）worker执行map任务，将任务输出保存在本地
5）master调度worker执行reduce任务，reduce worker读取map任务的输出文件
6）执行reduce任务，将任务输出保存到