MapReduce 的 Shuffle流程

文章详细阐述了HadoopMapReduce的工作流程,包括客户端的文件分块、MapTask的执行、内存缓冲区的溢出与排序、ReduceTask的分区数据获取及归并排序,最终进行逻辑运算的过程。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

第一步:客户端提交任务对文件进行分块,默认block是128M

第二步:客户端把要进行map的数据发送给yarn,yarn获取判断需要多少MapTask()

第三步:MapTask收集我们map()方法输出的kv,放到环形内存缓冲区

第四步:在环形内存缓冲区在达到默认80%的时候就会开始往本地磁盘中不断溢出,可能会溢出多个文件

第五步:过个溢出文件会被合并成大的溢出文件

第六步:在溢出过程及合并的过程中,都要调用Partition进行分区和针对key进行排序

第七步:ReduceTask根据自己的分区号,去各个MapTask机器上相应的结果分区数据

第八步:ReduceTask取到用一个分区的来自不同MapTask的结果文件,ReduceTask会将这些文件再进行合并(归并排序)

第九步:合并成大文件后,Shuffle的过程就结束了,后面就要进行ReduceTask的逻辑运算过程(从文件中取出一个一个的键值对Group,调用用户自定义的reduce()方法)

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值