向HDFS上传文件时报错16/07/23 01:13:30 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.Rem

最新推荐文章于 2025-10-31 00:53:30 发布
原创 最新推荐文章于 2025-10-31 00:53:30 发布 · 8.1k 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文记录了一次HDFS中文件复制失败的问题排查过程，具体表现为文件无法达到预期的副本数。通过日志发现原因是DataNode节点的防火墙未关闭，最终通过关闭防火墙解决了问题。
16/07/23 01:13:30 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException: java.io.IOException: File /test.txt could only be replicated to 0 nodes, instead of 1
        at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:1639)
        at org.apache.hadoop.hdfs.server.namenode.NameNode.addBlock(NameNode.java:736)
        at sun.reflect.GeneratedMethodAccessor3.invoke(Unknown Source)

        at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAcc

查找了一下原因始datanode没有找到，用jps检测，datanode已经启动了，原因可能是datanode没有关闭防火墙，

service iptables status 发现防火墙果然没有关闭

执行service iptables stop 关闭之后，再上传就成功了

【精】彻底吃透HDFS写流程（5）-- DataStreamer线程类run方法分析以及如何构建pipeline？
LifeIsGood
12-15 1949
【精】彻底吃透HDFS写流程（5）-- DataStreamer线程类run方法分析以及如何构建pipeline？
【Spark问题诊断】WARN hdfs.DFSClient: Failed to connect to /10.23.60.50:9866 for block ...
yxf19034516的博客
10-20 2288
线上StructuredStreaming出现以下情况: 最后一个task运行时间明显不正常，于是翻了executor的日志，报错如下： 21/10/20 17:04:53 WARN hdfs.DFSClient: Failed to connect to /xxx.50:9866 for block BP-2045603532-xxx-1567160332810:blk_1269487871_195770142, add to deadNodes and continue. java.net.
Hadoop--WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException
咸鱼妹
12-23 2445
WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /user/mhw/input/wc.input._COPYING_ could only be replicated to 0 nodes instead of minRepli...
有关HDFS的三种客户端操作方式详解 （命令行，网页界面，Java API一步到位）
最新发布
2302_80776276的博客
10-31 1794
命令行操作适合系统管理员进行日常维护和批处理操作Web界面操作提供了直观的集群监控和基本的文件管理功能Java API操作为开发者提供了强大的编程接口，便于构建复杂的应用程序通过VMware Workstation 和MobaXterm的组合使用，我们可以在虚拟化环境中安全高效地学习和实践HDFS操作。建议各位读者根据实际需求选择合适的操作方式，并结合使用以达到最佳效果。
Hadoop异常 hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteException
jokes000的专栏
07-01 2万+
转自：http://blog.csdn.net/shenshouer/article/details/7360262 按照http://hadoop.apache.org/common/docs/stable/single_node_setup.html上描述做单击为分布式测试时抛异常： root@ubuntu:~/sse/hadoop/hadoop-1.0.1# bin/
WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException)
05-24
这个错误通常是由于HDFS上的数据流写入操作失败而引起的。这可能是由于许多原因引起的，例如网络问题、数据块损坏、磁盘容量不足等。要解决此问题，您可以尝试以下几个步骤： 1. 检查网络连接是否正常，确保网络...
25/04/21 05:33:56 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /myhadoop/stu/my_file.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation. at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1625) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getNewBlockTargets(FSNamesystem.java:3132) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3056) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:725) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:493) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocol
04-22
引用[2]提到上传文件时报错，可能的原因包括Datanode未启动、防火墙问题、磁盘空间不足或配置错误。引用[3]同样指出类似的问题，并提到可能需要检查Datanode的状态、网络连接和磁盘空间。引用[4]和[5]中的错误信息也...
025-10-22 16:12:15,195 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable java.io.FileNotFoundException: File does not exist: /usr/local/hadoop/text.txt at org.apache.hadoop.hdfs.server.namenode.INodeFile.valueOf(INodeFile.java:87) at org.apache.hadoop.hdfs.server.namenode.INodeFile.valueOf(INodeFile.java:77) at org.apache.hadoop.hdfs.server.namenode.FSDirStatAndListingOp.getBlockLocations(FSDirStatAndListingOp.java:159) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocations(FSNamesystem.java:2198) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.getBlockLocations(NameNodeRpcServer.java:795) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getBlockLocations(ClientNamenodeProtocolServerSideTranslatorPB.java:468) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) at org.apache.hadoop.ipc.ProtobufRpcEngine2$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine2.java:621) at org.apache.hadoop.ipc.ProtobufRpcEngine2$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine2.java:589) at org.apache.hadoop.ipc.ProtobufRpcEngine2$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine2.java:573) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1228) at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:1246) at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:1169) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1953) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:3198) at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62) at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45) at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:121) at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:88) at org.apache.hadoop.hdfs.DFSClient.callGetBlockLocations(DFSClient.java:933) at org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:920) at org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:909) at org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:1076) at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:344) at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:340) at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81) at org.apache.hadoop.hdfs.DistributedFileSystem.open(DistributedFileSystem.java:357) at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:997) at MyFSDataInputStream.main(MyFSDataInputStream.java:28) Caused by: org.apache.hadoop.ipc.RemoteException(java.io.FileNotFoundException): File does not exist: /usr/local/hadoop/text.txt at org.apache.hadoop.hdfs.server.namenode.INodeFile.valueOf(INodeFile.java:87) at org.apache.hadoop.hdfs.server.namenode.INodeFile.valueOf(INodeFile.java:77) at org.apache.hadoop.hdfs.server.namenode.FSDirStatAndListingOp.getBlockLocations(FSDirStatAndListingOp.java:159) at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocations(FSNamesystem.java:2198) at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.getBlockLocations(NameNodeRpcServer.java:795) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getBlockLocations(ClientNamenodeProtocolServerSideTranslatorPB.java:468) at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java) at org.apache.hadoop.ipc.ProtobufRpcEngine2$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine2.java:621) at org.apache.hadoop.ipc.ProtobufRpcEngine2$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine2.java:589) at org.apache.hadoop.ipc.ProtobufRpcEngine2$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine2.java:573) at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1228) at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:1246) at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:1169) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1953) at org.apache.hadoop.ipc.Server$Handler.run(Server.java:3198) at org.apache.hadoop.ipc.Client.getRpcResponse(Client.java:1584) at org.apache.hadoop.ipc.Client.call(Client.java:1529) at org.apache.hadoop.ipc.Client.call(Client.java:1426) at org.apache.hadoop.ipc.ProtobufRpcEngine2$Invoker.invoke(ProtobufRpcEngine2.java:258) at org.apache.hadoop.ipc.ProtobufRpcEngine2$Invoker.invoke(ProtobufRpcEngine2.java:139) at com.sun.proxy.$Proxy9.getBlockLocations(Unknown Source) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.lambda$getBlockLocations$0(ClientNamenodeProtocolTranslatorPB.java:340) at org.apache.hadoop.ipc.internal.ShadedProtobufHelper.ipc(ShadedProtobufHelper.java:160) at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getBlockLocations(ClientNamenodeProtocolTranslatorPB.java:340) at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43) at java.lang.reflect.Method.invoke(Method.java:498) at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:437) at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeMethod(RetryInvocationHandler.java:170) at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invoke(RetryInvocationHandler.java:162) at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:100) at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:366) at com.sun.proxy.$Proxy10.getBlockLocations(Unknown Source) at org.apache.hadoop.hdfs.DFSClient.callGetBlockLocations(DFSClient.java:931) ... 9 more
10-23
### 解决无法加载本地库问题 `Unable to load native-hadoop library for your platform... using builtin-java classes where applicable` 这个错误通常是因为 ...hdfs dfs -put /usr/local/hadoop/text.txt / ```
hbase报错： org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
u012447842的博客
01-20 3246
2020-01-19 16:37:05,531 INFO [mg011.tigard.com,6000,1579413911172_ChoreService_1] hdfs.DFSClient: Could not obtain BP-266398130-10.186.59.129-1574389974472:blk_1082979077_9238392 from any node: java....
hadoop2.7.6 x64 win10的本地文件
06-29
hadoop2.7.6在win10下，使用vs2017编译的本地库，包括hdfs.dll，hadoop.dll，winutils.exe等文件。
Hadoop解决WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException问题
好吗好的~的技术博客
11-18 3万+
昨天配置完Hadoop环境搭建了集群后，今天跟着视频操作集群，启动集群没啥问题，然操作集群的时候出了问题（上传文件失败）     由于本人是刚学，是个新手，这篇文章有问题之处请大家指出   自己在解决这个问题的时候左弄弄右弄弄被自己解决了，详细步骤也无法给出。 总结如下： 1、看自己是否关闭防火墙了，防火墙没关可能导致这个原因（我是跟着老师的视频来学的，老师的视频之前关闭过防火墙...
Hadoop 警告 ： WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException 解决办法
陈杉菜
04-09 1万+
周二的晚上=素材爆棚时 我…在解决这个问题的时候左弄弄右弄弄被自己解决了，详细步骤也无法给出。 （报错的截图没存下来，但是由于一系列神奇的操作，文字部分保留了） 根据参考和老师所说的，总结如下： 看自己是否关闭防火墙了，防火墙没关可能导致这个原因（之前大概是，大数据第三节课有说过方法，可以去看一下） 在core-site.xml中没有配置hadoop运行时产生的文件的存储目录 如果上...
hadoop上传文件时WARN hdfs.DFSClient: DataStreamorg.apache.hadoop.ipc.RemoteException(java.io.IOException)
IT_NEU_Lee的博客
09-15 3673
安装好Hadoop后一直没有用  今天往hdfs上传文件的时候突然出现如下bug,翻看别人的博客和相关查找后  发现是自己当时可能使用了两次hadoop namenode -format 命令   hadoop dfs -put ~/words.txt  /test DEPRECATED: Use of this script to execute hdfs command is depreca...
hadoop上传文件错误org.apache.hadoop.ipc.RemoteException(java.io.IOException)
热门推荐
一路前行
07-02 6万+
搭建好hadoop后使用hadoop  fs  -put 命令上传文件发现失败，报了以下错误： 14/08/18 15:18:03 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /home/input/file1.txt.
hadoop使用put上传的错误DataStreamer Exception
全杰的博客
03-09 2307
错误描述： 16/03/09 14:34:07 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /test/README.txt.COPYING could only be replicated to 0 nodes
解决hadoop运行 DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException) 的问题
蓝尊宝的博客
12-14 1万+
运行hdfs命令时，比如hadoop fs -put a.txt / 18/12/14 16:19:02 WARN hdfs.DFSClient: DataStreamer Exception org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /a.txt._COPYING_ could only be replica...
org.apache.hadoop.ipc.RemoteException(java.io.IOException)
leo
11-08 8361
[hadoop@master sbin]$ hdfs dfs -mkdir -p /user/oracle/input 16/11/08 09:53:10 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where app
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值