Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.

本文介绍了在Hadoop使用过程中遇到的datanode问题及其解决方案。通过修改datanode节点里的/etc/hosts文件来解决该问题,文章详细描述了如何正确配置hosts文件,并给出了具体的示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

hadoop在使用的过程中出现了这样的错误。

解决方式,修改datanode节点里/etc/hosts文件。

操作的详细步骤如下:

首先查看主机名称

cat /proc/sys/kernel/hostname

简单介绍下hosts格式

每行分为三个部分:第一部分网络IP地址、第二部分主机名或域名、第三部分主机别名

修改hosts配置内容如下:

127.0.0.1             localhost.localdomain       localhost
::1               localhost6.localdomain6  localhost6
10.200.187.77   10.200.187.77                     hadoop-datanode

如果配置后出现IP地址就表示修改成功了,如果还是显示主机名就有问题了,继续修改这个hosts文件,
这里提醒下:原始的hosts文件,在第一行里会把主机名写入,如下内容:
127.0.0.1             hadoop-datanode   localhost.localdomain       localhost
这是是需要把hadoop-datanode内容删除掉。
如下图:

 上图提醒下,chenyi是主机名。




当在测试环境里,自己再去部署一个域名服务器(个人觉得很繁琐),所以简单地方式,就直接用IP地址比较方便。

如果有了域名服务器的话,那就直接进行映射配置即可。


评论 7
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值