mapreduce任务出错最大尝试次数

最新推荐文章于 2024-08-10 16:30:06 发布

weian404

最新推荐文章于 2024-08-10 16:30:06 发布

阅读量1.6k

点赞数

CC 4.0 BY-SA版权

本文链接：https://blog.youkuaiyun.com/orangeann/article/details/24916987

本文介绍了Hadoop中任务失败后的重试机制，包括任务失败时如何报告给jobtracker及重新分配执行节点的过程。同时详细解释了配置参数mapreduce.map.maxattempts与mapreduce.reduce.maxattempts的作用，即在达到最大尝试次数前框架会尝试重新执行Map和Reduce任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一个任务出现失败时，tasktracker会将此任务的失败信息报告给jobtracker，jobtracker会分配新的节点执行此任务。这种情况下不会影响整个作业的完整执行。但是如果容易任务出现多次失败，且失败次数超出失败的最大指定次数，那么作业会在未完成的情况下被终止。

mapred-site.xml:
hadoop1.x:
    mapred.max.map.attempts
    mapred.max.reduce.attempts
hadoop2.x:
    <property>
      <name>mapreduce.reduce.maxattempts</name>
      <value>4</value>
      <description>Expert: The maximum number of attempts per reduce task.
      In other words, framework will try to execute a reduce task these many number
      of times before giving up on it.
      </description>
    </property>
    
    <property>
      <name>mapreduce.map.maxattempts</name>
      <value>4</value>
      <description>Expert: The maximum number of attempts per map task.
      In other words, framework will try to execute a map task these many number
      of times before giving up on it.
      </description>
    </property>