hadoop1.2.1 tasktracker容错机制分析
1.job级别黑名单
每个Job都会维护自己的黑名单。如果tasktracker被加入该黑名单,则该Job不会再分配给这个节点分配task。流程图如下:
加入黑名单的条件:
1).已经被加入黑名单的数量 < 0.25(常量) * 集群大小
2).该Job在该节点失败的task数 > mapred.max.tracker.failures(默认为4)
2.jobtracker级别的灰名单
在0.20.203版本以前,加入灰名单的tasktracker在不久后会加入到jobtracker级别的黑名单,加入黑名单后jobtracker不为该tasktracker分配lunchtask,只有重启tasktracker才能恢复。在0.20.203版本开始,合并了yahoo的代码之后,tasktracker加入灰名单后没有什么特殊的操作。
加入灰名单的条件:
1)在一定时间内(mapred.jobtracker.blacklist-fault-timeout-window默认180分钟),tasktracker被job加入黑名单的次数 >= mapred.max.tracker.blacklists
2)被job加入黑名单的次数 > 平均每个tasktracker被加入黑名单的次数*(1+50%)
3)已经加入灰名单的tasktracker数 < 总tasktracker数的50%
3.jobtracker级别的黑名单
加入jobtracker级别黑名单的tasktracker,将不会被分配task,直到重启了该tasktracker。把tasktracker加入黑名单的唯一途径 就是:tasktracker执行健康监控脚本,得到tasktracker不健康,通过心跳反馈给jobtracker,jobtracker则把它加入黑名单
以后再贴代码。
鉴于1.2.1中没有使用到tasktracker的灰名单,能否去掉灰名单机制,从而提高jobtracker处理heartbeat的效率。