本文介绍了MapReduce编程模型的基本概念，包括其核心组件Master和Worker的功能。详细解释了MapReduce处理过程中的六大步骤：输入、拆分、映射、派发、缩减及输出。适合希望了解如何使用MapReduce进行大规模数据并行处理的读者。
字面翻译：
map -> 映射
reduce -> 缩减
简易作用：对海量数据进行并行计算的一个编程模型。
一.Master：负责调度，分配任务给Worker执行
二.Worker 1.mapper：执行函数任务
2.Reducer：汇总mapper传来的结果
MapReduce大体上分为六个步骤：
- input,：输入
- split：拆分，转换为key-value对
- map：映射，将拆分内容转换为新key-value对
- shuffle：派发，key相同的放一起，返回一个list，包含各种key-value对
- reduce：缩减，把同一key的结果加在一起
- output：输出
详细内容请参阅知乎：https://www.zhihu.com/question/23345991
扫一扫
1465
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
