HDFS Call From hadoop102/192.168.182.102 to hadoop103:8020 failed on connection

最新推荐文章于 2023-01-11 13:15:04 发布
原创 最新推荐文章于 2023-01-11 13:15:04 发布 · 2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop

搭建HA集群后，遇到通过Web界面无法上传和删除文件的问题，错误提示为CallFrom...failedonconnection。经过排查，发现是由于缺少静态用户配置导致的权限不足。在core-site.xml中添加静态用户配置后，使用hadoopfs-put命令正常，现在可以成功上传和删除文件。

搭建完HA集群后发现在web端无法上传文件，查看日志发现报了Call From hadoop102/192.168.182.102 to hadoop103:8020 failed on connection的错误，一直在拒绝连接，后来发现也无法删除文件，但是在命令行hadoop fs -put 指令没有问题，最后发现是没有配置静态用户，没有权限上传和删除文件所导致，在core-site.xml配置上静态用户即可正常上传和删除文件

Flume【使用篇】04：Flume的高级组件之Source Interceptors
weixin_40612128的博客
03-04 356
Flume的高级组件之Source Interceptors
尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】
upward
03-22 3266
尚硅谷大数据技术Hadoop教程-笔记02【Hadoop-入门】
【Hadoop】启动集群问题 Call From hadoop102 to hadoop103 failed on connection exception
sinat_38650186的博客
01-11 2091
启动Hadoop集群测试MapReduce作业的时候，在linux终端执行以下命令然后报错显示：INFO retry.RetryInvocationHandler: java.net.ConnectException: Call From hadoop102/192.168.88.102 to hadoop103:8032 failed on connection exception: java.net.ConnectException: 拒绝连接;
Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.Connec
qq_43668173的博客
03-20 1万+
Call From hadoop102/192.168.10.102 to hadoop102:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; 2021-03-20 08:41:20,294 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.10.103:8032 java.net.ConnectException: Cal
spark连接HDFS报错：8020 failed on connection exception: java.net.ConnectException: 拒绝连接 解决方法
balalaxstar的博客
05-11 4836
一、接口错误 spark连接HDFS时直接报错，可能是hadoop中core-site.xml配置的集群端口时9000，而spark写的是8020，改为9000即可。 二、hdfs文件丢失 当初次连接成功，并且获取表结构也成功，但是一获取表数据时就报错 拒绝连接 ，这时要到MySQL中查看该数据库或者该表的文件是否真的存在于指定位置，当文件丢失时也会报错。报错内容会显示文件端口丢失。 ...
2025-09-18 04:59:25,118 WARN hdfs.DataStreamer: Exception in createBlockOutputStream blk_1073741825_1001 java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as 192.168.88.103:9866 at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:128) at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:104) at org.apache.hadoop.hdfs.DataStreamer.createBlockOutputStream(DataStreamer.java:1921) at org.apache.hadoop.hdfs.DataStreamer.nextBlockOutputStream(DataStreamer.java:1822) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:751) 2025-09-18 04:59:25,123 WARN hdfs.DataStreamer: Abandoning BP-1974876939-192.168.88.101-1758071567220:blk_1073741825_1001 2025-09-18 04:59:25,134 WARN hdfs.DataStreamer: Excluding datanode DatanodeInfoWithStorage[192.168.88.103:9866,DS-0b8b77f5-a0b1-4abd-ab70-f1077efa388f,DISK] 2025-09-18 04:59:25,181 WARN hdfs.DataStreamer: Exception in createBlockOutputStream blk_1073741826_1002 java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as 192.168.88.102:9866 at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:128) at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:104) at org.apache.hadoop.hdfs.DataStreamer.createBlockOutputStream(DataStreamer.java:1921) at org.apache.hadoop.hdfs.DataStreamer.nextBlockOutputStream(DataStreamer.java:1822) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:751) 2025-09-18 04:59:25,182 WARN hdfs.DataStreamer: Abandoning BP-1974876939-192.168.88.101-1758071567220:blk_1073741826_1002 2025-09-18 04:59:25,198 WARN hdfs.DataStreamer: Excluding datanode DatanodeInfoWithStorage[192.168.88.102:9866,DS-578bea83-9e25-4c1a-aa2b-2be244f85f34,DISK]
最新发布
09-19
在Hadoop HDFS中，DataStreamer创建块输出流时出现 `IOException` 错误（`Got error, status=ERROR`），从提供的引用中可推测可能与网络连接有关。若报错 `Unable to connect to remote host: No route to host` ...
hadoop错题本
epitomizelu的专栏
04-02 3259
一，hive的启动失败 可能原因： 1，hive依赖于hadoop集群的启动，如果hadoop集群没有启动，hive启动会失败 2，配置文件错误 hive安装路径下hive-env.sh中的HIVE_CONF_DIR配置错误
spark运行报错
genuineZ2的博客
04-13 935
开启spark之后输入sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect后报错 sc.textFile("data/word.txt").flatMap(_.split(" ")).map((_,1)).reduceByKey(_+_).collect 22/04/13 23:03:47 WARN RetryInvocationHandler: Exception while invok
mkdir: Call From hadoop102/192.168.6.102 to hadoop102:8020 failed on connection exception: java.net.
weixin_43797368的博客
10-08 4386
mkdir: Call From hadoop102/192.168.6.102 to hadoop102:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused 少走弯路之出现这个BUG是不是你的hdfs没有启起来。。。。。。。这个BUG很脑残，哈哈 ...
访问HDFS遇到无法访问8020端口的问题，访问被拒绝
热门推荐
zc1024792301的博客
06-23 1万+
今天运行了一个简单的从Hadoop URL读取数据的程序 hadoop jar test.jar test.URLcat hdfs://localhost/data/123.txt 结果显示这个错误 Exception in thread "main" java.net.ConnectException: Call From hadoop/192.168.1.190 to hadoo...
启动Hive的时候出现all From hadoop102/169.254.142.102 to hadoop102:8020 failed on connection exception: java
AlphaG的博客
11-06 831
这个是因为Hive是依赖于HDFS和MapReduce相关进程的执行的，也就是说需要在启动Hive之前，应该把NameNode等一些节点进程进行开启 报错截图： 启动之后的节点进程 Hive启动成功
配置spark历史服务出错java.net.ConnectException: Call From hadoop102/192.168.230.102 to hadoop102:8020 failed
阿拉修
04-19 2733
错误如下： 因为我配置spark的历史纪录文件夹的路径在hdfs上面，spark需要访问hdfs，所以编辑spark-defaults.conf文件的时候，spark.eventLog.dir的值的主机名端口号要和你hadoop中配置文件core-site中fs.defaultFS的值一致，并且文件夹要已经存在。 比如我的如上所示，我把spark.eventLog.dir改为hdfs://hadoop102:9000/directory就行了 参考：https://www.1024sou.com/artic
配置Hadoop集群：java.net.NoRouteToHostException: No route to host问题的解决
小程故事多
10-01 1005
  2012-07-04 18:43:31,479 ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to /192.168.18.218:9000 failed on local exception: java.net.NoRouteToHostException: 没有到主机的路...
hadoop Apache版本的启动命令
辉哥大数据
05-08 1287
start-all.sh 启动所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack stop-all.sh 停止所有的Hadoop守护进程。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack start-dfs.sh 启动Ha
ls: Call From hdoop2/192.168.18.87 to hdoop2:8020 failed on connection exception: java.net.ConnectEx...
weixin_30301449的博客
11-30 928
场景： 预发环境中，同事已经搭建了一套hadoop集群，由于版本与所需不符，所以需要替换版本 问题描述： 在配置文件都准确的情况下，启动hadoop,出现以下报错： 启动之前初始化： 初始化目录跟配置文件目录不一致 hdfs namenode -format [root@hdoop2 hadoop-2.8.5]# hadoop dfs -ls /DEPRECATED...
hadoop中出现Call From ubuntu/127.0.1.1 to localhost:8020 failed on connection exception
qq_39820860的博客
04-14 5800
更改core-site.xml文件 <configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/home/hadoop/app/hadoop/tmp</value> <description&g...
hadoop to hadoop000:8020 failed on connection exception: java.net.ConnectException: 异常处理
weixin_43829047的博客
03-31 5008
java 访问hadoop hdfs 地址抛出异常** to hadoop000:8020 failed on connection exception: java.net.ConnectException ????* 第一 1检查linux 服务器host 是否配置 vim /etc/hosts 127.0.0.0 hadoop000 第二 保证hadoop目录、hdfs-site.xml对应的hdf...
评论 2
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值