本文描述了在一个采用公平调度策略的集群中遇到的问题，即大量job同时提交时导致全部job处于pending状态无法执行。通过分析发现这与公平调度策略有关，并给出了两种解决思路：一是更换调度策略为计算能力调度器；二是优化公平调度的配置。
异常描述：
集群采用公平调度策略，当出现大批量job同时提交时，发生job全部hung住，处于pending状态
异常分析：
首先想到jobtracker异常，查看jobtracker日志，无报错信息；
分析可能是公平调度造成的，发现在监控页面手动调整job优先级，重新开始执行，整个集群恢复正常，猜测跟调度算法有很大的关系。
解决方案：
去掉公平调度，但这是一件很蛋疼的事情，面对多用户同时使用集群，FIFO的调度策略显得不够用；
换用其他调度策略，如计算能力调度器
或者优化公平调度的配置，减少jobtracker的压力
扫一扫
838
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
