Hadoop1.2.1 tasktracker容错机制分析,黑名单与灰名单

本文分析了Hadoop 1.2.1版本中TaskTracker的容错机制,包括job级别黑名单、jobtracker级别灰名单及黑名单的工作原理。讨论了这些机制如何帮助系统在面对节点故障时保持稳定运行。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

hadoop1.2.1 tasktracker容错机制分析
1.job级别黑名单
每个Job都会维护自己的黑名单。如果tasktracker被加入该黑名单,则该Job不会再分配给这个节点分配task。流程图如下:
这里写图片描述
加入黑名单的条件:
1).已经被加入黑名单的数量 < 0.25(常量) * 集群大小
2).该Job在该节点失败的task数 > mapred.max.tracker.failures(默认为4)
2.jobtracker级别的灰名单
在0.20.203版本以前,加入灰名单的tasktracker在不久后会加入到jobtracker级别的黑名单,加入黑名单后jobtracker不为该tasktracker分配lunchtask,只有重启tasktracker才能恢复。在0.20.203版本开始,合并了yahoo的代码之后,tasktracker加入灰名单后没有什么特殊的操作。
加入灰名单的条件:
1)在一定时间内(mapred.jobtracker.blacklist-fault-timeout-window默认180分钟),tasktracker被job加入黑名单的次数 >= mapred.max.tracker.blacklists
2)被job加入黑名单的次数 > 平均每个tasktracker被加入黑名单的次数*(1+50%)
3)已经加入灰名单的tasktracker数 < 总tasktracker数的50%
3.jobtracker级别的黑名单
加入jobtracker级别黑名单的tasktracker,将不会被分配task,直到重启了该tasktracker。把tasktracker加入黑名单的唯一途径 就是:tasktracker执行健康监控脚本,得到tasktracker不健康,通过心跳反馈给jobtracker,jobtracker则把它加入黑名单
以后再贴代码。

鉴于1.2.1中没有使用到tasktracker的灰名单,能否去掉灰名单机制,从而提高jobtracker处理heartbeat的效率。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值