关于MapReduce的理解

本文介绍了MapReduce编程模型的基本概念,包括其核心组件Master和Worker的功能。详细解释了MapReduce处理过程中的六大步骤:输入、拆分、映射、派发、缩减及输出。适合希望了解如何使用MapReduce进行大规模数据并行处理的读者。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

字面翻译:

map -> 映射

reduce -> 缩减

简易作用:对海量数据进行并行计算的一个编程模型。


一.Master:负责调度,分配任务给Worker执行

二.Worker  1.mapper:执行函数任务

                  2.Reducer:汇总mapper传来的结果


MapReduce大体上分为六个步骤:

  1. input,:输入
  2. split:拆分,转换为key-value对
  3.  map:映射,将拆分内容转换为新key-value对
  4.  shuffle:派发,key相同的放一起,返回一个list,包含各种key-value对
  5.  reduce:缩减,把同一key的结果加在一起
  6.  output:输出


详细内容请参阅知乎:https://www.zhihu.com/question/23345991

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值