hadoop 中FIFO任务分配流程简化描述

本文详细介绍了FIFO算法在MapReduce任务中的应用流程。针对map和reduce阶段,通过循环迭代的方式为作业分配可用的slots,确保每个作业都能获得处理资源。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

代码总体很复杂,简化下流程

是assignTasks流程:

FIFO的分配任务算法流程:

// map任务分配
for (int i=0; i < availableMapSlots; ++i) {
for (JobInProgress job : jobQueue) {
该作业有可分的任务,当前map slot分配给它。退出此次循环,进行下一个map slot的分配
}
}

//reduce任务分配
if(availableReduceSlots>0){
for (JobInProgress job : jobQueue) {
每个作业分配一个reduce slot
}
}
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值