Hadoop完全分布式环境下，DataNode进程正常启动，但是网页上不显示DataNode节点

最新推荐文章于 2022-11-20 10:47:29 发布

原创

最新推荐文章于 2022-11-20 10:47:29 发布 · 2.9k 阅读

12 ·

CC 4.0 BY-SA版权

文章标签：

#Hadoop #疑难解答

在Hadoop完全分布式环境中，上传文件至HDFS时遇到DataStreamerException错误，提示文件复制失败，原因是DataNode未正常运行。实际检查发现DataNode进程已启动，但Hadoop界面显示LiveNodes为0。解决此问题需检查/etc/hosts文件中是否正确配置了从节点的hostname到ip的映射，并在NameNode的hdfs-site.xml中禁用IP与hostname的校验。

Hadoop完全分布式环境下，上传文件到hdfs上时报错：

19/05/15 11:03:12 WARN hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.ipc.RemoteException(java.io.IOException): File /wc_input/file1.txt._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1).  There are 0 datanode(s) running and no node(s) are excluded in this operation.
	at org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget4NewBlock(BlockManager.java:1550)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getNewBlockTargets(FSNamesystem.java:3110)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:3034)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:723)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock(ClientNamenodeProtocolServerSideTranslatorPB.java:492)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamen