HBase跑 map/reduce 须关闭Speculative Execution

最新推荐文章于 2024-09-23 14:18:35 发布

最新推荐文章于 2024-09-23 14:18:35 发布 · 153 阅读

文章标签：

#hadoop #hbase #speculative execution #job

本文详细解析了Hadoop中的推测执行概念，包括其原理、工作流程以及在实际应用中遇到的问题。特别关注了在使用Hadoop进行HBase操作时，推测执行可能带来的性能影响，并提出了关闭推测执行的建议以减轻RegionServer负载。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

什么是Speculative Execution

所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的task node机器配置比较低或者CPU load很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时Job Tracker会启动一个新的任务（duplicate task），原有任务和新任务哪个先执行完就把另外一个kill掉，这也是我们经常在Job Tracker页面看到任务执行成功，但是总有些任务被kill，就是这个原因。

mapred.map.tasks.speculative.execution=true

mapred.reduce.tasks.speculative.execution=true

这两个是推测执行的配置项，它们默认值是true

然而在HBase中，这样做，会加重regionserver的load。

因为用Hadoop map/reduce操作HBase的时候，会尽量采用本地原则，即相应的task尽量使用本地的数据。
而如果另起一个task，则会导致数据不在本地，凭空浪费IO和网络资源。

所以，强烈建议关闭 Speculative Execution

关闭的方法是在jobconf中设定