mapreduce出现类似死锁情况

最新推荐文章于 2024-06-11 00:04:03 发布

转载最新推荐文章于 2024-06-11 00:04:03 发布 · 3k 阅读

MapReduce 专栏收录该内容

40 篇文章

订阅专栏

本文介绍了一种MapReduce任务中的死锁现象，即由于资源分配不均导致map和reduce任务相互等待，最终造成任务长时间无法完成的问题。文中详细分析了问题的原因，并提出通过调整mapreduce.job.reduce.slowstart.completedmaps参数来优化资源分配的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

MR-------------Error------------------

Reducer preempted to make room for pending map attempts Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143

在MR 运行过程中，某个mapreduce跑了8个多小时还没跑，看yarn界面，发现map还有一小部分没跑完，没跑完的map全在pending，running中没有，同时reduce在copy阶段把资源全用光，导致map没资源去跑，进而导致reduce一直在copy状态等待。也就是说map需要资源去跑，reduce需要等map全部跑完才能进行下一个阶段，这样就导致相互等待，类似死锁。大约在一个半小时左右，有4个reduce被AppMaster kill，

被kill的reduce出现日志：Reducer preempted to make room for pending map attempts Container killed by the ApplicationMaster. Container killed on request. Exit code is 143 Container exited with a non-zero exit code 143。这就是说当资源不够是，AppMaster会kill掉reduce释放资源给map。解决办法是调整mapreduce.job.reduce.slowstart.completedmaps参数，默认为0.05，即map完成0.05后reduce就开始copy，如果集群资源不够，有可能导致reduce把资源全抢光，可以把这个参数调整到0.8，map完成80%后才开始reduce copy。