MapReduce运行过程略解

最新推荐文章于 2020-11-19 17:52:23 发布

原创最新推荐文章于 2020-11-19 17:52:23 发布 · 181 阅读

0 ·

CC 4.0 BY-SA版权

大数据学习专栏收录该内容

7 篇文章

订阅专栏

本文深入解析MapReduce工作流程，从输入到输出的全过程，包括map、sort、combine、partition、reduce等关键步骤，以及各阶段的配置参数说明，如setOutputKeyComparatorClass、setCombinerClass等。

1，input --------> 2.map (map包括后面的sort,和combine）------------>3.sort------------------------------------>4.combine -------------------
split setOutputKeyComparatorClass setCombinerClass(相同key合并)
------> 5.partition ----------------------------------------------------------->6.Reduce -------------------------------------------------------------------------
setPartitionClass(设置哪一个KEY由那个Reduce处理) key分组排序(根据setSortComparatorClass对ke
------------------------------------------------------------------------------------------------------------------------------------------------------------->ouput
y分组构造迭代器)--> 组内排序(setGroupingComparatorClass()对key相同的组的值排序) （）1