YARN 任务执行报错：Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

最新推荐文章于 2024-04-26 17:28:17 发布

vincent_hahaha

最新推荐文章于 2024-04-26 17:28:17 发布

阅读量1.9k

点赞数

CC 4.0 BY-SA版权

分类专栏： Hadoop

本文链接：https://blog.youkuaiyun.com/vincent_duan/article/details/105085518

Hadoop 专栏收录该内容

43 篇文章

订阅专栏

本文介绍在使用YARN运行WordCount程序时遇到的错误及其解决方案。主要错误为Shuffle过程中出现的ShuffleError，通过修改yarn-site.xml文件中的yarn.nodemanager.local-dirs属性，指定本地目录路径，成功解决了该问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

使用YARN运行一个wordcount时报错：

20/03/25 00:10:45 INFO mapreduce.Job: Task Id : attempt_1585065643305_0001_r_000000_0, Status : FAILED
Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#4
	at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134)
	at org.apache.hadoop.mapred.ReduceTask.run(ReduceTask.java:376)
	at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)

解决办法如下：
修改yarn-site.xml文件，添加内容：

    <property>
        <name>yarn.nodemanager.local-dirs</name>
        <value>/home/iie4bu/app/tmp/hadoop-tmp/nm-local-dir</value>
    </property>

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

vincent_hahaha

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

hive Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

binfactory的专栏

09-12

983

hive 统计数据发生jvm Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out error 解决方案：${HADOOP_HOME}/conf/slaves中的节点信息在/etc/hosts上配置。本人的机器配置：一台Master 两台Slaves

Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

axs441702的博客

07-19

1082

Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#7 at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134) at org.apache.hadoop.ma...

参与评论您还未登录，请先登录后发表或查看评论

Alluxio整合MapReduce报错 Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

逆天骚年的博客

11-22

795

查看Yarn NodeManager日志，发现以下信息： Caused by: org.apache.hadoop.util.DiskChecker$DiskErrorException: Could not find user/cache/hadoop/appcache/application_15... in any of the configured local directories 解...

在Linux上将作业提交到Yarn上运行报错Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES的解决办法

弗兰-随风小欢的博客

08-11

4324

楼主在Linux服务器上将作业提交到Yarn上报错: Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out. 经过网上的搜索以及自己的实验,解决了问题,现在将解决办法分享给大家: 在安装的hadoop的/etc/hadoop文件首写打开hdfs-site.xml文件如下： &lt...

Hadoop 3.x 入门 - 记录躺过的坑

最新发布

2401_84264610的博客

04-26

762

合并成一个keytab文件，rkt表示展示,wkt表示写入。注意：ktutil：以后面的是输入的。#生成密钥文件（生成到当前路径下）

hive配置Kerbros安全认证_hive kereveros(1)

2401_84264610的博客

04-26

494

因为服务器上可以访问keytab文件即可以以principal的身份通过kerberos的认证，所以，keytab文件应该被妥善保存，应该只有少数的用户可以访问。将生成的hdfs.keytab文件复制到hadoop配置路径下，并授权后面经常会遇到使用keytab login失败的问题，首先需要检查的就是文件的权限。hive配置kerberos的前提是Hadoop集群已经配置好Kerberos，因此我们先来配置Hadoop集群的认证。输入规则和密码，，两次密码相同即可，我是用的是root。

hadoop集群加密问题汇总

Siobhan_Mxin的博客

03-13

2415

1、hadoop集群3个节点启动正常，但是namenode和datanode之间无法正常通讯 2、启动mapreduce作业时，无法启动，报namenode安全模式（safe mode） 3、提交mapreduce作业，map阶段正常，reduce阶段失败，报虚拟内存不足 4、mapreduce作业正常执行，map阶段可以正常结束，但reduce失败，报错 5、如何扩充vbox虚拟盘

hadoop遇到的问题记录

wfp458113181wfp的专栏

02-25

1万+

1、jobtracker启动不正常报错、hdfs无法使用(比如执行一个操作文件命令就报错：only be replicated to 0 nodes, instead of 1） 2012-07-23 00:00:05,244 WARN org.apache.hadoop.mapred.JobTracker: Retrying... 2 2012-07-23 00:00:0

Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

分布式应用与服务器架构专栏

01-06

8063

hadoop在使用的过程中出现了这样的错误。解决方式，修改datanode节点里/etc/hosts文件。操作的详细步骤如下：首先查看主机名称 cat /proc/sys/kernel/hostname 简单介绍下hosts格式每行分为三个部分：第一部分网络IP地址、第二部分主机名或域名、第三部分主机别名修改hosts配置内容如下： 127.0.0.1

YARN执行作业报错Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

vincent_duan的专栏

11-07

2431

执行了一个简单的官方提供的作业： iie4bu@swarm-worker1:~/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreduce$ hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar pi 2 3 报错信息如下： Error: org.apache.hadoop.mapreduce.ta...

Hive Exceeded MAX_FAILED_UNIQUE_FETCHES； bailing-out.

SW_LCC的博客

03-09

742

hive查询时，报错Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#2 Hive Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out. 系统设置有关，文件较大，无法分配大内存通过调整集群内存大小解决问题。 ...

hadoop异常之Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

道听途说

03-05

5914

最近集群扩充，发现新添加节点后，有两个异常 1、reduce变得很慢，速度显示为百M但进度不变 2、reduce偶尔失败，抛出Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out. 异常分析，由于datanode没有修改hosts文件导致的，修改以后将新加机器添加到hosts，恢复正常

Hadoop常见问题

weixin_34319999的博客

07-27

132

Hadoop使用常见问题以及解决方法（1） - [分布式]Hadoop使用常见问题以及解决方法Hadoop,问题,解决 1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够...

使用spark分布式计算框架进行数据计算时出现报错 Caused by: java.io.IOException: Input path does not exist

yujinlong2002的博客

02-02

1435

使用spark分布式计算框架进行数据计算时出现报错 Caused by: java.io.IOException: Input path does not exist

hive 执行脚本时出错java.io.IOException: org.apache.hadoop.yarn.exceptions.YarnException: Failed to submit a

m0_50753958的博客

05-29

831

这是因为之前配置capacity-scheduler.xml 文件时，我修改了资源队列中配置了。

ShuffleError：error in shuffle in fetcher解决办法

laozaoxiaowanzi的博客

05-19

1471

今天在跑一个hive任务的时候，遇到了这个错误，很明显这个错误是在shuffle阶段出现了问题，报错为java.lang.OutOfMemoryError:java heap space 从网上找到了解决办法，这里记录一下：异常原因：很可能是因为数据倾斜导致的栈溢出。在shuffle阶段，会将map的output数据给取下来，然后根据设定的参数决定是放进内存中，还是存储到磁盘里面进行操作。而mapreduce.reduce.shuffle.memory.limit.percent这个参数默认值是0

jupyter-notebook 以yarn模式运行出现的问题及解决

AI研究院

04-17

2464

jupyter-notebook 以yarn模式运行出现的问题及解决原创小白programmer 最后发布于2018-11-21 10:53:01 阅读数 519 收藏展开 jupyter-notebook 以yarn模式运行的出现的问题及解决方法之前用pyspark虚拟机只跑了单机程序，现在想试试分布式运算。在做之前找了书和博客来看，总是有各种各样的问题，无法成功。现在特记录一下过程...

hadoop报错：java.io.IOException(java.net.ConnectException: Call From xxx/xxx to xxx:10020 failed on con...

05-23

这个错误是因为 Hadoop 无法连接到 YARN ResourceManager。可能是由于以下原因之一： 1. YARN ResourceManager 未启动或已停止运行。 2. 防火墙阻止了 Hadoop 和 YARN ResourceManager 之间的通信。 3. YARN ResourceManager 计算机 IP 地址已更改。要解决此问题，请尝试以下操作： 1. 确认 YARN ResourceManager 正在运行并处于活动状态。 2. 检查防火墙设置，确保 Hadoop 和 YARN ResourceManager 之间的通信未被阻止。 3. 确认 YARN ResourceManager 的 IP 地址是否已更改，并更新 Hadoop 配置文件中的相应配置。如果以上方法都无法解决问题，请检查 Hadoop 和 YARN ResourceManager 的日志以获取更多信息，以便更好地定位问题所在。