hadoop1 的suffle过程

本文深入解析了MapReduce框架中Map端和Reduce端的Shuffle过程,包括数据的排序、分区、合并和输出,详细阐述了数据在不同阶段的处理方式以及如何高效地进行分布式计算。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

map端的suffle过程
1.map task向环形内存缓冲区中写数据
2.当环形内存缓冲区中的数据达到阀值时,开始将环形内存缓冲区中的数据spill到文件中
3.每次调用sortAndSpill方法都会产生一个输出文件
4.在spill的过程中:
首先对map的输出数据按照key进行排序
然后将排序后的数据按照分区顺序写到输出文件中
5.map task结束后会产生大量的spill文件
6.执行merge操作,将map生成的众多的spill文件中的数据按照分区重新组织.
主要做法是针对指定分区,从各个spill文件中拿出属于一个分区的所有数据,然后将它们合并在一起,写入一个已分区且已排序的Map输出文件中.


reduce端的suffle过程
主要包括(复制map输出,排序合并和reduce处理)
1.将map的输出复制到reduce所在的磁盘(不会等到所有的map任务结束)
2.将从各个map tasktracker上复制的map输出文件进行合并,并维持数据原来的顺序
3.对合并的文件进行reduce处理
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值