MapReduce数据流（三）

最新推荐文章于 2023-03-01 01:00:00 发布

转载最新推荐文章于 2023-03-01 01:00:00 发布 · 428 阅读

hadoop 专栏收录该内容

14 篇文章

订阅专栏

本文介绍MapReduce流程中的Combiner组件及其如何通过减少网络传输的数据量来提升作业效率。以词频统计为例，展示了Combiner如何将多个键值对合并成单一键值对，从而大幅减少shuffle阶段所需的带宽。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

额外的MapReduce功能

图4.6 插入了Combiner的MapReduce数据流
　　Combiner：前面展示的流水线忽略了一个可以优化MapReduce作业所使用带宽的步骤，这个过程叫Combiner，它在Mapper之后Reducer之前运行。Combiner是可选的，如果这个过程适合于你的作业，Combiner实例会在每一个运行map任务的节点上运行。Combiner会接收特定节点上的Mapper实例的输出作为输入，接着Combiner的输出会被发送到Reducer那里，而不是发送Mapper的输出。Combiner是一个“迷你reduce”过程，它只处理单台机器生成的数据。
　　词频统计是一个可以展示Combiner的用处的基础例子，上面的词频统计程序为每一个它看到的词生成了一个（word，1）键值对。所以如果在同一个文档内“cat”出现了3次，（”cat”，1）键值对会被生成3次，这些键值对会被送到Reducer那里。通过使用Combiner，这些键值对可以被压缩为一个送往Reducer的键值对（”cat”，3）。现在每一个节点针对每一个词只会发送一个值到reducer，大大减少了shuffle过程所需要的带宽并加速了作业的执行。这里面最爽的就是我们不用写任何额外的代码就可以享用此功能！如果你的reduce是可交换及可组合的，那么它也就可以作为一个Combiner。你只要在driver中添加下面这行代码就可以在词频统计程序中启用Combiner。