本文介绍了MapReduce的基本概念，详细解析了Mapper、Reducer以及Shuffler三个核心组件的功能与作用。Mapper负责将复杂任务分解为简单任务执行；Reducer汇总Map阶段的结果，并由mapred-site.xml文件里的mapred.reduce.tasks决定其数量；Shuffler则负责按key值重新切分并组合Mapper的输出。
一.Mapper
负责“分”。把复杂到任务分解为若干个“简单的任务”执行。
二.Reducer
1.对map阶段的结果进行汇总。
2.reducer的数目：由mapred-site.xml文件里mapred.reduce.tasks决定。
三.Shuffler（mapper和reducer直接的一个过程）
1.把mapper的输出按某种key值重新切分并组合成n份。
2.把符合某范围的key值输出送到特定的reducer那处理。
注：在执行过程中，访问http://192.168.1.102;50030/jobtracker.job可以显示作业的运行情况
扫一扫
1223
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
