hadoop上传文件的是报异常

最新推荐文章于 2021-06-03 10:28:33 发布

原创最新推荐文章于 2021-06-03 10:28:33 发布 · 置顶 · 369 阅读

0 ·

CC 4.0 BY-SA版权

异常集专栏收录该内容

10 篇文章

订阅专栏

本文解决了在使用Hadoop上传文件时遇到的java.io.IOException错误，详细解释了防火墙如何影响Hadoop的数据节点通信，并提供了具体的解决步骤，包括关闭防火墙和服务重启。

java.io.IOException: File /user/xuexi/input/wc.input._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1).  There are 0 datanode(s) running and no node(s) are excluded in this operation.
	at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1547)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getNewBlockTargets(FSNamesystem.java:3107)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3031)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:724)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodePro
        to colServerSideTranslatorPB.java:492)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlo
        ckingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:969)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2049)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2045)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2043)

解决方案:这个问题是防火墙导致的,至于为什么是防火墙的问题,我还没有弄的明白之中的原因;

使用 systemctl stop firewalld 关闭防火墙,重启一个hadoop,就上传就可以了