本文深入探讨了在MapReduce框架中如何合理利用Combiner减少输入到Reduce阶段的数据量，详细解释了Combiner的运行机制及其在不同Map任务间的交互作用。同时，强调了Combiner的输出与输入需保持一致的重要性，以及其在数据聚合过程中的优化效果。
本想通过combiner减少输入到reduce的数据，但是使用过程中总发生问题。
后来看权威指南，才知道，combiner是会反复调用的，即可能两个combiner一次后，将结果再传给一个combiner；
所以写combiner一定要输入和输出格式相同，并不是同reducer相同就可以，reducer的输入和输出格式是未必相同的。
mapper1 -> combiner1
mapper2-> combiner2
combiner1，combiner2 -> combiner3
combiner3 - >reducer1
扫一扫
5064
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
