YARN 任务执行报错：Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

原创于 2020-03-25 00:25:21 发布 · 1.9k 阅读

1 ·

CC 4.0 BY-SA版权

Hadoop 专栏收录该内容

43 篇文章

订阅专栏

本文介绍在使用YARN运行WordCount程序时遇到的错误及其解决方案。主要错误为Shuffle过程中出现的ShuffleError，通过修改yarn-site.xml文件中的yarn.nodemanager.local-dirs属性，指定本地目录路径，成功解决了该问题。

使用YARN运行一个wordcount时报错：

20/03/25 00:10:45 INFO mapreduce.Job: Task Id : attempt_1585065643305_0001_r_000000_0, Status : FAILED
Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#4
	at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)
	at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:376)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)

解决办法如下：
修改yarn-site.xml文件，添加内容：

    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/home/iie4bu/app/tmp/hadoop-tmp/nm-local-dir</value>
    </property>