hadoop异常之Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

最新推荐文章于 2024-01-25 08:59:24 发布

原创最新推荐文章于 2024-01-25 08:59:24 发布 · 5.9k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop #datanode #异常 #集群

hadoop那点事专栏收录该内容

61 篇文章

订阅专栏

本文介绍了一个集群扩容过程中遇到的问题：reduce任务执行缓慢且偶尔出现ShuffleError。问题的根源在于新加入的节点未正确配置hosts文件，通过更新hosts文件解决了此问题。

最近集群扩充，发现新添加节点后，有两个异常

1、reduce变得很慢，速度显示为百M但进度不变

2、reduce偶尔失败，抛出Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

异常分析，由于datanode没有修改hosts文件导致的，修改以后将新加机器添加到hosts，恢复正常

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

slx_2011

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

hive Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

binfactory的专栏

09-12

1004

hive 统计数据发生jvm Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out error 解决方案：${HADOOP_HOME}/conf/slaves中的节点信息在/etc/hosts上配置。本人的机器配置：一台Master 两台Slaves

Hadoop报错信息处理积累

chw1989的专栏

04-23

1743

一、报错信息：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out 错误描述：把Hadoop集群架设好以后，运行TestDFSIO基准测试，发现总是可以map成功，但是reduce总是卡在某个位置13%、11%、16%等，等待七分钟左右，输出信息Shuffle Error: Exceeded MAX_FAILED_UNIQU

参与评论您还未登录，请先登录后发表或查看评论

Hadoop使用常见问题以及解决方法

weixin_33877092的博客

09-01

158

1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。/etc/security/limits.confvi /etc/security/lim...

Hadoop中 "Exceeded MAX_FAILED_UNIQUE_FETCHES”的错误

tubaluer

01-09

582

Hadoop中 "Exceeded MAX_FAILED_UNIQUE_FETCHES”的错误. 该错误一般和主机名有关，首先要保证自定义的/etc/hosts中的别名和hostname一致。如果的DNS或hostname配置不当，导致Hadoop去Internet找域名服务器，而使用错误的域名。域名服务配置，特别是下列文件，DNS相关配置最好使用IP而不使用字母形式域名，避免错误的域名解析...

Hadoop常见问题

weixin_34319999的博客

07-27

149

Hadoop使用常见问题以及解决方法（1） - [分布式]Hadoop使用常见问题以及解决方法Hadoop,问题,解决 1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够...

Hadoop-hbase大数据环境安装

07-07

Hadoop-hbase大数据环境安装

hdfs相关问题及解决方案归档

weixin_44976835的博客

08-26

3200

目录问题1：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题2：Too many fetch-failures问题3：处理MR速度特别的慢问题4：能够启动datanode，但无法访问，也无法结束问题5：节点断联问题6：JVM内存不够问题7：Hadoop添加节点的方法问题8：给单个node新加硬盘问题9：IO写操作出现问题问题10：HDFS退服节点的方法问题11：IO异常问题12：status of 255 error问题13：sort by value问题14：restar

Hadoop 3.x 入门 - 记录躺过的坑

热门推荐

r_aider的博客

04-23

1万+

一、伪分布式节点启动报错 ./start-dfs.sh Starting namenodes on [10.1.4.57] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting...

Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

分布式应用与服务器架构专栏

01-06

8097

hadoop在使用的过程中出现了这样的错误。解决方式，修改datanode节点里/etc/hosts文件。操作的详细步骤如下：首先查看主机名称 cat /proc/sys/kernel/hostname 简单介绍下hosts格式每行分为三个部分：第一部分网络IP地址、第二部分主机名或域名、第三部分主机别名修改hosts配置内容如下： 127.0.0.1

YARN执行作业报错Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

vincent_duan的专栏

11-07

2478

执行了一个简单的官方提供的作业： iie4bu@swarm-worker1:~/app/hadoop-2.6.0-cdh5.15.1/share/hadoop/mapreduce$ hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.15.1.jar pi 2 3 报错信息如下： Error: org.apache.hadoop.mapreduce.ta...

Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

axs441702的博客

07-19

1110

Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#7 at org.apache.hadoop.mapreduce.task.reduce.Shuffle.run(Shuffle.java:134) at org.apache.hadoop.ma...

Hive Exceeded MAX_FAILED_UNIQUE_FETCHES； bailing-out.

SW_LCC的博客

03-09

773

hive查询时，报错Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#2 Hive Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out. 系统设置有关，文件较大，无法分配大内存通过调整集群内存大小解决问题。 ...

YARN 任务执行报错：Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out

vincent_duan的专栏

03-25

1950

使用YARN运行一个wordcount时报错： 20/03/25 00:10:45 INFO mapreduce.Job: Task Id : attempt_1585065643305_0001_r_000000_0, Status : FAILED Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: erro...

Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES解决方案

小透明-溶冰

03-29

1122

转载自：http://hi.baidu.com/xiaomi/item/6d2cbdf35064040c84d27844 1.map 完成，但reduce阶段出错。 12/01/06 17:09:15 INFO input.FileInputFormat: Total input paths to process : 2 12/01/06 17:09:16 INFO mapr

在Linux上将作业提交到Yarn上运行报错Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES的解决办法

Turn X7

01-25

416

Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

Hadoop任务提交到YARN运行出现Shuffle$ShuffleError: error in shuffle in fetcher#5

weixin_43957098的博客

04-04

1555

Error: org.apache.hadoop.mapreduce.task.reduce.Shuffle$ShuffleError: error in shuffle in fetcher#5 Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out ##错误原因：内存空间不足， https...

yarn异常：error in shuffle in fetcher

weixin_43923267的博客

07-21

553

Hadoop使用常见问题以及解决方法 .

管子（zero）的杂乱空间

12-25

654

/opt/hadoop-3.4.0/libexec/hadoop-functions.sh: line 283: hadoop_build_custom_subcmd_var: command not found ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no defined. Aborting operation. Starting datanodes /opt/hadoop-3.4.0/libexec/hadoop-functions.sh: line 281: hadoop_build_custom_subcmd_var: command not found /opt/hadoop-3.4.0/libexec/hadoop-functions.sh: line 283: hadoop_build_custom_subcmd_var: command not found ERROR: Attempting to operate on hdfs datanode as root ERROR: but there is no defined. Aborting operation. Starting secondary namenodes [6e449bb98617] /opt/hadoop-3.4.0/libexec/hadoop-functions.sh: line 281: hadoop_build_custom_subcmd_var: command not found /opt/hadoop-3.4.0/libexec/hadoop-functions.sh: line 283: hadoop_build_custom_subcmd_var: command not found ERROR: Attempting to operate on hdfs secondarynamenode as root ERROR: but there is no defined. Aborting operation.

最新发布

09-20

你遇到的错误信息如下： ``` /opt/hadoop-3.4.0/libexec/hadoop-functions.sh: line 283: hadoop_build_custom_subcmd_var: command not found ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no defined. Aborting operation. ``` --- ### 🔍 错误原因分析 1. **`hadoop_build_custom_subcmd_var` 函数未找到** - 这个函数定义在 Hadoop 的 `hadoop-functions.sh` 文件中。 - 如果脚本加载失败、路径错误或文件损坏，会导致该函数无法调用。 2. **Hadoop 尝试以 root 用户运行服务组件（如 NameNode、DataNode 等）** - Hadoop 不推荐使用 root 用户直接启动服务。 - 它期望你配置一个专用的 Hadoop 用户（如 `hadoop` 用户）来运行这些服务。 3. **环境变量或权限配置问题** - 可能是 `HADOOP_HOME` 或 `PATH` 设置不正确。 - 或者某些脚本没有执行权限。 --- ### ✅ 解决方法 #### ✅ 方法 1：不要以 `root` 用户启动 Hadoop Hadoop 默认禁止使用 `root` 用户运行服务。你需要： 1. 创建一个专用用户（如 `hadoop`）： ```bash useradd hadoop passwd hadoop ``` 2. 切换到该用户并重新运行 Hadoop： ```bash su - hadoop start-dfs.sh start-yarn.sh ``` #### ✅ 方法 2：检查 `hadoop-functions.sh` 是否损坏或缺失函数确保 `/opt/hadoop-3.4.0/libexec/hadoop-functions.sh` 文件中包含 `hadoop_build_custom_subcmd_var` 函数。你可以用以下命令查找该函数： ```bash grep -A 10 "hadoop_build_custom_subcmd_var" /opt/hadoop-3.4.0/libexec/hadoop-functions.sh ``` 如果没有定义，可能是文件损坏，建议重新下载或替换 Hadoop 安装包。 #### ✅ 方法 3：检查 Hadoop 环境变量配置确保 `HADOOP_HOME` 和 `PATH` 设置正确： ```bash export HADOOP_HOME=/opt/hadoop-3.4.0 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` #### ✅ 方法 4：检查脚本执行权限为 Hadoop 目录下的脚本添加执行权限： ```bash chmod +x /opt/hadoop-3.4.0/sbin/*.sh chmod +x /opt/hadoop-3.4.0/libexec/*.sh ``` #### ✅ 方法 5：查看 Hadoop 文档或社区反馈这个错误在某些 Hadoop 3.x 版本中可能出现，建议查看： - [Hadoop GitHub Issues](https://github.com/apache/hadoop/issues) - 或升级到更新的版本（如 Hadoop 3.6.x） --- ### ✅ 小结 | 问题 | 解决方法 | |------|-----------| | `hadoop_build_custom_subcmd_var` 未找到 | 检查 `hadoop-functions.sh` 文件是否完整 | | Hadoop 服务启动失败 | 不要使用 root 用户启动，创建专用用户 | | 环境变量配置错误 | 正确设置 `HADOOP_HOME` 和 `PATH` | | 脚本权限问题 | 添加执行权限 `chmod +x` | | Hadoop 版本缺陷 | 升级到更新版本或查看社区修复方案 | ---