Hadoop 在关机重启后，namenode启动报错

最新推荐文章于 2024-05-25 00:12:58 发布
最新推荐文章于 2024-05-25 00:12:58 发布
阅读量1.8k 收藏
点赞数
分类专栏： Hadoop 文章标签： Hadoop
本文解决了一个常见的Hadoop Namenode启动错误问题，通过配置core-site.xml中的hadoop.tmp.dir属性，将临时目录从易丢失的/tmp路径更改为持久存储位置，确保了Hadoop集群稳定运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Hadoop 在关机重启后，namenode启动报错：
2011-10-21 05:22:20,504 INFO org.apache.hadoop.hdfs.server.common.Storage: Storage directory /tmp/hadoop-fzuir/dfs/name does not exist.  
2011-10-21 05:22:20,506 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.  
org.apache.hadoop.hdfs.server.common.InconsistentFSStateException: Directory /tmp/hadoop-fzuir/dfs/name is in an inconsistent state: storage directory does not exist or is not accessible.  
at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:291)  
at org.apache.hadoop.hdfs.server.namenode.FSDirectory.loadFSImage(FSDirectory.java:97)  
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.initialize(FSNamesystem.java:379)  
at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.<init>(FSNamesystem.java:353)  
at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:254)  
at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:434)  
at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1153)  
at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1162)  
这个以开始的解决方法是将namenode重新再format下，但是后面想想不对，这样每次都format，那不是玩完了~~
然后就搜了下，发现是因为临时文件/tmp会被删除掉，解决方法就是修改core-site.xml，添加hadoop.tmp.dir属性：
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/home/fzuir/Hadoop0.20.203.0/tmp/hadoop-${user.name}</value>  
</property>  

问题解决了，重启电脑后，再去启动hadoop就不会出现/dfs/name is in an inconsistent state的错误了~~

转自：http://www.linuxidc.com/Linux/2012-02/55079.htm

在Linux中进行hadoop集群搭建（7）
u011458344的专栏
10-30 236
命令：mkdir -p /usr/local/src/software/命令：mkdir -p /usr/local/src/server/命令：mkdir -p /usr/local/src/data/
linux服务器重启node,Hadoop运维之NameNode重启
weixin_36263314的博客
05-03 975
操作流程(请谨慎处理，做好double check!!!)1.备份主节点 的current 目录2.在second namenode 上执行./Hadoop-daemon.sh start namenode -checkpoint3.等待30-40分钟，待checkpoint 完成后。到主节点上的current文件check fsimage 的修改时间，看是否已经同步成功。然后执行./hadoop...
重启服务器后datanode和namenode启动不起来
Ennis_Tongji的博客
08-27 492
重启服务器后 1.启动zookeeper 2.删除 rm -rf /opt/hadoop/journaldata/* 3.删除 rm -rf /opt/hadoop/tmp/* java.io.IOException: Incompatible clusterIDs in /opt/hadoop/tmp/dfs/data: namenode clusterID = CID-3659e289-d0ed-4296-8ae7-09cbebe555f6; datanode clusterID = CID-f8
寻找Hadoop启动Namenode失败原因
m0_67401382的博客
04-28 1247
问题产生 hadoop目录下，运行下面语句启动namenode，jps发现namenode启动失败 sbin/hadoop.daemon.sh start namenode 问题解决 （1）Hadoop namenode、datanode、secondarynamenode节点的日志文件在Hadoop根目录logs/下。日志命名规则为hadoop-用户名-节点名-域名.log寻找namenode节点的日志，比如我的用户名hadoop，我要找namenode节点，我的域名为hadoop.fang.com。所
hadoop namenode启动异常，死活失败
weixin_34126557的博客
05-12 201
2014-05-12注定是春光灿烂猪八戒的一天，历史595无故障的hadoop服务器，终于还是出了问题，事前无人登陆操作服务器，此故障属于自发行为，目前未知发生原因。细节描述： namenode无法启动. 先贴出错误信息2014-05-12 07:17:39,447 INFO org.apache.hadoop.hdfs.server.namenode.NameNod...
在hadoop启动的时候，会出现各种各样的问题
曹世超的专栏
10-20 1万+
在hadoop启动的时候，会出现各种各样的问题，NameNode，JobTracker等各个模块都会有莫名奇妙的问题出现，在这里对hdfs的问题进行一下简单的记录 1：HDFS initialized but not 'healthy' yet, waiting... 这个日志会在启动hadoop的时候在JobTracker的log日志文件中出现，在这里就是hdfs出现问题，导致DataNod
HA启动，hadoop2节点没有namenode，提示错误Directory /export/data/hadoop/namenode is in an inconsistent state: storage directory does not exist or is not accessible.怎么解决
最新发布
06-11
Hadoop 2.x 中 **NameNode 存储目录状态不一致错误**（如报错 `Storage directory does not exist or is not accessible`）通常由元数据损坏或配置问题导致。以下是系统化的解决步骤： --- ### **一、核心排查步骤...
hadoop学习——配置hadoop单节点集群，启动HDFS
LiQingBB的博客
04-16 847
hadoop配置其实在官网上写的非常清楚了，这里演示一遍。版本采用的是hadoop-2.6.0-cdh5.15.1，网址为： http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.15.1/hadoop-project-dist/hadoop-common/SingleCluster.html 首先修改配置文件etc/hadoop/c...
VMware上基于centos系统完全分布式Hadoop集群的搭建详解
m0_73901987的博客
05-25 2400
这里的防火墙是需要关闭的，这是因为我们搭建的是完全分布式系统，需要多个节点来进行通信，如果不关闭后序可能出现防火墙拦截我们Hadoop的通讯信息，这里不需要害怕防火墙关闭导致有病毒传入或者非法用户的入侵，在后续我们会在基于Hadoop集群的外围搭建项目的防火墙。启动创建的虚拟机，点击界面的开启此虚拟机。执行下面的命令来进入到系统的IP配置文件中，如果是其他的Linux系统，配置文件的配置是不相同的，但里面的文件是一致的，这里就讲述centos系统的IP配置文件的目录。
Hbase安装常见问题总结
小程故事多
03-21 820
    最近这段时间因为工作需要安装了hadoop+hbase集群，在安装的过程中总结了以下一些常见的问题，供大家参考。   一、问题1 ERROR org.apache.hadoop.hdfs.server.namenode.FSNamesystem: FSNamesystem initialization failed.  1.       删除/tmp下hadoop 有关系的东...
修改core-site.xml配置文件
热门推荐
ViMan1204的博客
04-02 3万+
前言 配置Hadoop的主要5个文件 序号 配置文件名 配置对象 主要内容 1 hadoop-env.sh hadoop运行环境 用来定义hadoop运行环境相关的配置信息 2 core-site.xml 集群全局参数 用于定义系统级别的参数，如HDFS URL 、Hadoop的临时目录等 3 hdfs-site.xml HDFS 如名称节点和数据节点的存放位置、文件副本的...
异常关机后,Hadoop集群开机后不能启动
随手积累，典型bug解决。技术栈的系统介绍。
08-16 1904
Windows下安装的vmware,上面跑了三个hadoop虚拟机. 某天电脑发热过大死机了,后来强制关机,再开机后,虚拟机前面有三个红叉,不能启动,这个时候千万不要点移除虚拟机. 去Windows下安装虚拟机的地方,删除产生的临时文件和日志文件,后打开虚拟机即可,问题解决. 删除的文件如下.   ....
010_Hadoop配置测试成功后关机重启浏览器打不开dfs和MP
weixin_30779691的博客
03-04 202
针对Hadoop成功配置并测试通过，第二次（关机重启）后Hadoop打不开的问题，一般都是因为防火墙的问题，将防火墙关闭后就可以了. 更细致的现象为start-all.sh启动，五大守护进程启动成功，并且在CentOS的浏览器中能够访问hadoop-master.dragon.org：50070。而到了windows系统中就不能访问了。 $sudo service ipstatles stop...
正在运行hadoop的虚拟机由于意外的电脑重启无法启动
Jmayday
03-23 939
问题描述：正在运行hadoop集群，由于电脑自动关机重启，开机后无法正常开启虚拟机 问题截图：
hadoop的集群启动nodemanager启动不起来
一曲无痕奈何
08-29 2300
hadoop的集群启动nodemanager启动不起来：我关机重新启动集群：重新启动了所有集群发现，jps的进程啥都没有了，全都消失，后来发现资源用完了，然后我把hadoop的日志删除了，这样我就有内存了，再重新启动集群发现可以了。 ...
集群关闭后，重启集群，Hadoop102的NameNode启动不起来
oadgadgad的博客
03-13 2287
问题记录：想进行NameNode多目录配置。跟着操作，发现Namenode启动不起来。 解决：格式化完Namenode之后，单独启动Namenode sbin/hadoop-daemon.sh start namenode。 如果Namenode启动不起来，再次进行Namenode格式 bin/hdfs namenode -format，然后继续单独启动Namenode sbin/hadoop-daemon.sh start namenode。 如果此时Namenode启动起来了，再用群起集群的命令
HDFS NameNode重启优化
Dreamershi的专栏
08-10 1240
NameNode重启甚至全集群重启在整个Hadoop集群的生命周期内是比较频繁的运维操作，优化重启时间可以极大提升运维效率，避免可能存在的风险。本文通过分析NameNode启动流程，并结合实践过程简单罗列了几个供参考的有效优化点，借此希望能给实践过程提供可优化的方向和思路。...
Hadoop 重启小结
xiaolu279的专栏
03-15 6388
<br /><br />Hadoop 重启问题：<br />1.如果出现如下图，证明你的hadoop也连接不上了。<br /><br />2. ps aux|grep java查看一下，<br />namenode<br />SecondaryNameNode<br />JobTacker三者不能少任何一个，如果少了，则hadoop都不能启动。<br />3.如果不幸碰到三者有其一没有的问题，只能重启机子了。sudo reboot<br />3.重启后，三个都出现了，才算重启成功。<br />这时一定要记得
hadoop格式化namenode报错 namenode.NameNode: Failed to start namenode.
03-23
### Hadoop NameNode 格式化错误解决方案 当尝试格式化 Hadoop NameNode 并遇到 `Failed to start namenode` 错误时，通常是因为某些配置不当或环境设置问题引起的。以下是可能的原因及其对应的解决方法： #### 1. **Cluster ID 不匹配** 如果 DataNode 和 NameNode 的 Cluster ID 不一致，则会引发此错误。这通常是由于在重新格式化 NameNode 前未清理旧的数据所致。 - 解决方案： 删除所有 DataNode 上的存储目录以及日志文件夹中的内容[^3]。这些路径可以通过 `dfs.datanode.data.dir` 属性找到。例如，默认情况下可能是 `/home/hadoop/data/hadoopdata/data`。执行以下命令来清除数据： ```bash rm -rf /home/hadoop/data/hadoopdata/data/* ``` 同时，在 SecondaryNameNode 或其他节点上也需要清空相应的存储目录。 --- #### 2. **磁盘权限不足** Hadoop 需要对指定的存储目录具有写入权限。如果没有适当权限，可能会导致无法创建必要的元数据文件。 - 解决方案： 确认 `dfs.namenode.name.dir` 中定义的所有目录都存在并赋予正确的访问权限。可以运行如下命令调整权限： ```bash chmod -R 755 /home/hadoop/data/hadoopdata/name chown -R hadoop:hadoop /home/hadoop/data/hadoopdata/name ``` 上述操作假设当前用户为 `hadoop`，具体用户名需根据实际情况替换。 --- #### 3. **重复格式化冲突** 多次调用 `hdfs namenode -format` 而不清理之前的记录可能导致冲突。 - 解决方案： 确保每次重新格式化前完全移除旧的元数据。通过手动删除 `dfs.namenode.name.dir` 下的内容实现这一点： ```bash rm -rf /home/hadoop/data/hadoopdata/name/* ``` 之后再执行格式化命令： ```bash hdfs namenode -format ``` --- #### 4. **HA 配置下的 JournalNode 启动异常** 对于高可用 (High Availability, HA) 场景，JournalNode 是核心组件之一。如果其未能正常工作或者超时时间过短，也会阻止 NameNode 成功启动。 - 解决方案： 检查 `hdfs-site.xml` 文件中关于 JournalNode 的相关属性是否已正确定义，并增加超时参数以避免网络延迟带来的影响[^4]。例如： ```xml <property> <name>dfs.qjournal.start-segment.timeout.ms</name> <value>60000</value> </property> <property> <name>dfs.ha.fencing.ssh.connect-timeout</name> <value>30000</value> </property> ``` 此外，验证 JournalNode 是否正在运行： ```bash jps ``` 应能看到类似 `JournalNode` 的进程条目。 --- #### 5. **SecondaryNameNode 配置有误** 虽然 SecondaryNameNode 主要是辅助角色，但如果它的地址被错误设定也可能干扰整个系统的稳定性。 - 解决方案： 核实 `core-site.xml` 和 `hdfs-site.xml` 中涉及 SecondaryNameNode 的字段是否合理。比如： ```xml <property> <name>dfs.secondary.http.address</name> <value>hadoop3:50090</value> </property> ``` 这里需要注意的是，该端口应当与其他服务无冲突且可达[^2]。 --- #### 总结代码片段 最终完整的排查流程可总结成一段脚本形式供参考： ```bash #!/bin/bash # 清理 DataNode 数据目录 DATA_DIR="/home/hadoop/data/hadoopdata/data" if [ -d "$DATA_DIR" ]; then rm -rf $DATA_DIR/* fi # 设置正确权限给 NameNode 存储位置 NAME_DIR="/home/hadoop/data/hadoopdata/name" mkdir -p $NAME_DIR && chmod -R 755 $NAME_DIR && chown -R hadoop:hadoop $NAME_DIR # 删除已有元数据后再重试格式化 rm -rf $NAME_DIR/* && hdfs namenode -format echo "Format completed." ``` ---
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值