map的collect和spill过程解析

Map的输出缓冲是一个循环缓冲,collect和spill是在kvstart、kvend和kvindex三个指针的引导下进行的。初始时kvstart=kvend=kvindex=0
1、MapTask的collect过程
 collect是一个向缓冲区放东西的过程。此时,kvstart和kvend不动,每放一条记录,kvindex都会向后移动一位。
2、spillThread的spill过程
   spill是一个从缓冲区取东西的一个过程,当发生spill时,首先让kvend指向kvindex,即kvend=kvindex,然后kvstart向前移动,每移动一位就取出一条记录写回磁盘,当spill结束时,kvstart和kvend相遇,即kvstart=kvend,为下次collect又做好准备。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值