hadoop ：mkdir: 'input': No such file or directory问题

最新推荐文章于 2023-02-24 17:57:11 发布

转载最新推荐文章于 2023-02-24 17:57:11 发布 · 4.2k 阅读

文章标签：

#hadoop #mkdir #input #No such file or directory #伪分布式部署

hadoop 专栏收录该内容

2 篇文章

订阅专栏

本文记录了作者初接触Hadoop时遇到的问题及解决过程，包括命令版本差异、DataNode启动失败及NameNode格式化等问题。

初接触hadoop，遇到的问题真不少。在执行bin/hadoop fs -mkdir input时，出错了。测试发现，bin/hadoop fs -ls也不行。排查了一会才发现是版本的原因：

2.x以前的版本这个命令，2.x之后的版本命令改成了：bin/hdfs dfs -mkdir -p ..

input目录创建完成之后，开始上传本地目录：

bin/hdfs dfs -put /root/data /input

发现报错，试试拷贝本地文件：

bin/hdfs dfs -copyFromLocal /root/data/person.txt /input

发现也报错：

看提示应该是datanode没启动。通过jps查看，果然是。然后开始重启hadoop，重启了之后，发现datanode依然没成功启来。没办法了，去查启动日志，发现以下异常：

FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed for Block pool <registering> (Datanode Uuid unassigned) service to spark1/192.168.122.113:9000. Exiting.

java.io.IOException: Incompatible clusterIDs in /usr/local/programs/hadoop/tmp/dfs/data: namenode clusterID = CID-19f887ba-2e8d-4c7e-ae01-e38a30581693; datanode clusterID = CID-14aac0b3-3c32-45db-adb8-b5fc494eaa3d

这提示应该是指两个clusterID不一致。开始检查dfs下文件，data 和 name文件夹下有一部分文件。本想试试能不能通过文件覆盖解决不一致问题，后来觉得麻烦，就直接把文件name 和 data下的文件删了。然后重启hadoop...

本以为应该很顺利，没想问题又来了：

2016-05-13 15:28:28,952 INFO org.apache.hadoop.hdfs.server.common.Storage: Lock on /usr/local/programs/hadoop/dfs/name/in_use.lock acquired by nodename 25041@spark1
2016-05-13 15:28:28,954 WARN org.apache.hadoop.hdfs.server.namenode.FSNamesystem: Encountered exception loading fsimage
java.io.IOException: NameNode is not formatted.
   at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:212)
   at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:1022)
   at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:741)
   at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:538)
   at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:597)
   at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:764)
   at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:748)
   at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1441)
   at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1507)

接着去格式化namenode..

然后，

bin/hdfs dfs -mkdir -p /input
bin/hdfs dfs -put /root/data /input

OK.

接下来，终于可以开始通过spark读取分析hdfs的文件了。。。

原文：https://blog.youkuaiyun.com/ludonqin/article/details/51396187