本文主要探讨MapReduce分布式计算系统，Mapper阶段通过分解任务实现计算规模的缩小，遵循"计算向数据靠近"原则，便于并行计算。Reducer则负责汇总map阶段的结果，包括Combiner的使用、本地化reducer及Partitioner的策略。shuffle过程是关键，它涉及map输出的排序、组合以及分区，确保高效地将结果传递给reduce端。
MapReduce 分布式计算系统
Mapper负责“分”
分解计算任务，规模大大缩小；
“计算向数据靠近” ；
这些小任务可以并行计算。
Reducer负责“汇总” map阶段的结果
Combiner函数
本地化的reducer
Partitioner函数
决定着Map节点的输出将被分区到哪个Reduce节点
什么是shuffle
怎样把map task的输出结果有效地传送到reduce端？
map输出之前，在内存里经过sort和combiner，再将所有的输出集合到partitioner进行划分到不同的reducer，在每个分区（partition）中，再进行内存中排序，再运行combiner，最后输出到HDFS。
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
