Hadoop异常处理 Bad connect ack with firstBadLink (No route to host )

最新推荐文章于 2021-10-08 09:36:57 发布

最新推荐文章于 2021-10-08 09:36:57 发布 · 865 阅读

文章标签：

#大数据 #java

本文讨论了在使用Hive执行测试语句时遇到大量错误的情况，包括IOException和NoRouteToHostException，同时指出集群平衡未同步到新增节点的问题。提供了通过关闭root用户的防火墙来解决这些问题的方法。

同时添加几十个新节点之后

用hive执行测试语句报大量的错误：

[INFO]ExceptionincreateBlockOutputStreamjava.io.IOException:

java.io.IOException: Bad connect ack with firstBadLink as 192.168.1.178:50010
Continuing ...
java.io.IOException: Bad connect ack with firstBadLink as 192.168.1.178:50010
Continuing ...

add_log:

DataXceiver:java.net.NoRouteToHostException:Noroutetohost

另外集群开启的balance

blks 也没有同步到新的节点

解决办法：

root用户关闭防火墙 service iptables stop

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

iteye_11790

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

Hadoop安装配置

wenyusuran的专栏

06-18

1595

1.1 Hadoop简介　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平台。以Hadoop分布式文件系统（HDFS，Hadoop Distributed Filesystem）和MapReduce（Google MapReduce的开源实现）为核心的Hadoop为用户提供了系统底层细节透明的分布式基础架构。　　对于Hadoop的集群来讲，可以分成两大类角色：Mast

Hadoop错误解决：Bad connect ack with firstBadLink as ×.×.×.×:50010

andyguan01_2的博客

03-15

4080

问题描述：通过Azkaban调Sqoop，将Oracle数据导入Hive，报Bad connect ack with firstBadLink as ×.×.×.×:50010（×.×.×.×为Hadoop集群其中一个DataNode的IP，我这里隐去了实际值）错误，如下： 14-03-2019 15:50:15 CST sqoop INFO - Mar 14, 2019 7:50:15 AM ...

参与评论您还未登录，请先登录后发表或查看评论

Bad connect ack with firstBadLink 192.168.1.14:50010

chunguo.wang

12-22

364

Exception in thread "main" java.io.IOException: Bad connect ack with firstBadLink 192.168.1.14:50010 at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream.createBlockOutputStream(DFSClient.ja...

Bad connect ack with firstBadLink

加俊

10-25

428

hbase报的错误，经过分析是Hadoop不能写入数据了。可恶的是hbase会丢失该阶段put的的数据。 DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink DFSClient: Abandoning block blk_ DFS...

Bad connect ack with firstBadLink 192.168.*.*:50010

weixin_34405557的博客

06-15

239

今天搭建hadoop2.0 时hadoop fs -put文件时报错，看到网上有这样的解决方法先转载下呵呵已解决转自：http://lykke.iteye.com/blog/1320558Exception in thread "main" java.io.IOException: Bad connect ack with firstBadLink 192.168...

Hadoop异常：Bad connect ack with firstBadLink

zxwiiiii的专栏

01-03

1631

Hadoop异常：Bad connect ack with firstBadLink hadoop抛出如下异常： Java代码 [INFO] Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink xxx.xxx.x

UBUNTU虚拟机器上配置Hadoop时遇到的问题以及经验

zxcv1472158369的博客

03-10

1895

希望对大家有帮助（注意红字，这是本人遇到过的问题）一、JAVA_HOME 不正确(WIN7) 是因为JAVA_HOME的路径上有空格引起的。解决方案： a:重新安装JDK b:找到hadoop-2.7.1\etc\hadoop\路径下的hadoop-env.cmd 添加配置：set JAVA_HOME=D:\\PROGRA~1\Java64\jdk7 注意使用D:\\PR

hadoop集群常见问题集锦

虾米的博客

09-29

1332

hadoop集群常见问题集锦 hadoop集群搭建、使用过程中遇到了很多，特记录下 1、 ERRORorg.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException:Incompatible namespaceIDs 导致datanode启动不了。 no datanode to stop 原

Hadoop常见问题及解决办法

大数据框架Hadoop学习

05-15

854

1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/security/limits.conf vi /etc...

hdfs相关问题及解决方案归档

weixin_44976835的博客

08-26

3198

目录问题1：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题2：Too many fetch-failures问题3：处理MR速度特别的慢问题4：能够启动datanode，但无法访问，也无法结束问题5：节点断联问题6：JVM内存不够问题7：Hadoop添加节点的方法问题8：给单个node新加硬盘问题9：IO写操作出现问题问题10：HDFS退服节点的方法问题11：IO异常问题12：status of 255 error问题13：sort by value问题14：restar

关闭防火墙解决Bad connect ack with firstBadLink错误

sx_1706的博客

07-14

699

报错代码如下： 21/07/14 14:02:01 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Bad connect ack with firstBadLink as 192.168.0.62:50010 at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutpu

Bad connect ack with firstBadLink as x.x.x.x:50010异常

XiaoqiangNan的博客

01-15

760

hadoop 执行 fs -put 命令时报出异常原因是 50010 端口被拦截，造成client 不通。关闭hadoop节点的防火墙，或者开放此端口即可。

java.io.IOException: Bad connect ack with firstBadLink as

_木子_简单_

12-11

1339

关闭防火墙或者开放端口即可解决

Bad connect ack with firstBadLink20121106

weixin_33691817的博客

11-06

163

link:http://www.hadoopor.com/archiver/tid-71.html 14：09/08/31 18:25:45 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException:Bad connect ack with firstBadLink 192.168.1.11:500...

【Hadoop】Bad connect ack with firstBadLink as ×.×.×.×:50010

九师兄

07-01

1199

【Hadoop】Bad connect ack with firstBadLink as ×.×.×.×:50010

Hadoop异常处理 Bad connect ack with firstBadLink (No route to host )

mhx123456789的博客

10-08

182

Hadoop异常处理 Bad connect ack with firstBadLink (No route to host )

error ssh connect to host hadoop101 port 22 No route to host

最新发布

02-15

### 解决SSH连接到主机`hadoop101`端口22时出现'No route to host'错误的方法当遇到SSH尝试连接至指定服务器却收到"No route to host"消息的情况，这通常意味着客户端无法到达目标机器所在的网络位置。此类问题可能由多种因素引起，包括但不限于防火墙设置、路由配置不当或是服务本身未启动。针对此特定案例中的`hadoop101`节点，建议采取如下措施来排查并解决问题： #### 验证物理连通性和基本网络状态确认本地计算机与远程服务器之间的基础网络连接正常工作。可以先通过ping命令测试目的地址是否可达；如果ICMP被封锁，则考虑使用其他方法验证底层IP层通信能力。 #### 检查安全组和NACL规则考虑到提及的安全组及网络访问控制列表(NACL)，即使已经允许入站HTTP请求，在处理SSH流量时也需要确保相应的出站规则同样存在以支持TCP三次握手过程完成。对于SSH而言，默认情况下仅需开放对应方向上的端口22即可满足需求[^2]。 #### 审视Hadoop集群内部配置由于提到的是名为`hadoop101`的节点，推测其属于某个分布式计算环境的一部分。因此有必要审查整个框架内有关网络参数的部分，比如core-site.xml文件里定义的名字解析方式以及yarn-site.xml里的RPC监听选项等，任何不恰当之处都可能导致跨节点间通讯障碍。 #### 排除软件层面干扰项最后但并非最次重要的一点是要排除操作系统自带防护机制或者其他第三方应用程序对合法会话造成的阻碍作用。例如SELinux策略可能会阻止未经许可的数据包进出系统边界；而某些杀毒产品也可能出于保护考量拦截看似可疑的操作行为。 ```bash # 测试与目标主机的基础连通性 ping hadoop101 # 或者采用更精确的方式探测具体端口号的状态 nc -zv hadoop101 22 ```