Recover Hadoop NameNode Failure

最新推荐文章于 2021-08-10 08:07:43 发布
最新推荐文章于 2021-08-10 08:07:43 发布
阅读量1.2k 收藏
点赞数
分类专栏： hadoop错误

In production, you should run the NameNodes in HA mode with a quorum of journalling nodes, or a shared HA-NFS storage for the edit log transaction files. If you do not want or use HA, you need to run the NN with at least two storage directories for both images and edit logs, with preferably one as a soft-mounted NFS mount point for automatic off-machine persistence of the name-system.

If you have just one storage directory and no HA configuration, then the best you can get is a past-period checkpoint - if you lose all the files. In case you didn't lose files, you can try a hadoop namenode -recover option as illustrated by this post to be able to recover the image plus some (or all) edits.

hadoop 2.6 源码 解读之写操作中异常处理
zhixingheyi_tian的博客
06-03 704
nextBlockOutputStream 调用 createBlockOutputStream 创建到 pipeline 第一个DataNode 的输出流，如果失败，nextBlockOutputStream 会调用 abadonBlock() 放弃这个块，并将DataNode将入到故障节点队列中。然后重新向DataNode 申请新的数据块。重试一定次数，不成功就抛出异常...
已解决：Hadoop启动HDFS时，丢失Namenode/Datanode。
chensay的博客
03-25 1271
已解决：Hadoop启动HDFS时，丢失namenode进程。 There appears to be a gap in the edit log. We expected txid 1, but got txid 102. [root@chensy logs]# hadoop namenode -recover #也许是namenode数据元丢失 DEPRECATED: Use of this script to execute hdfs command is deprecated. Instead
NameNode Recovery Tools for the Hadoop Distributed File System
weixin_30746117的博客
06-24 765
转自：http://blog.cloudera.com/blog/2012/05/namenode-recovery-tools-for-the-hadoop-distributed-file-system/ Warning: The procedure described below can cause data loss. Contact Cloudera Support before...
Hadoop学习（四） NameNode
YK_LaNce的博客
08-23 893
是Master节点，是大领导。 职责：管理HDFS的名称空间；管理数据块映射；处理客户端的读写请求；配置副本策略； 关于NameNode中的元信息： 当一个客户端请求一个文件或者存储一个文件时，它需要先知道具体到哪个DataNode上存取，获得这些信息后，客户端再直接和这个DataNode进行交互，而这些信息的维护者就是NameNode。 NameNode管理着文件系统命名空间，它维护着文件系统...
Namenode恢复
奔跑的羚羊
02-12 339
Namenode恢复 1.修改[b]conf/core-site.xml[/b],增加 [code="xml"] fs.checkpoint.period 3600 The number of seconds between two periodic checkpo...
hadoop namenode 数据恢复
懒散狂徒的专栏
07-02 2932
在一次hadoop的重启过程中，重启失效，只能杀掉hadoop的namenode进程。 再重启的时候，出现如下问题： 2012-05-18 15:17:35,313 ERROR org.apache.hadoop.hdfs.server.namenode.NameNode: java.lang.NullPointerException at org.apache.hadoop.hdfs
Hadoop常见问题及解决办法
大数据框架Hadoop学习
05-15 834
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。 修改办法： 修改2个文件。 /etc/security/limits.conf vi /etc...
【HBase数据开发】集群搭建NameNode未格式化
大壮的博客
07-22 4033
1.报错如下 Encountered exception loading fsimage java.io.IOException: NameNode is not formatted. 上午10点28:19.302分 WARN FSNamesystem Encountered exception loading fsimage java.io.IOException: NameNode is not formatted. at org.apache.hadoop.hdfs.server.name
Hadoop_3.X.x 注意事项
热门推荐
底层码农
03-31 1万+
hadoop3 hdfs web端口改为9870 <property> <name>dfs.namenode.http-address</name> <value>0.0.0.0:9870</value> <description> The address and the base port where...
Zookeeper3.4+Hadoop2.7+Spark2.3.1+kafka+Redis+Tensorflow服务器配置说明
yongge1981的专栏
09-30 1452
2018年9月29日 阅读本文档者需要具备一定的linux、大数据平台架构经验，关键一点你需要一个VPN账号和堡垒机账号（单位管理规定）。 因为产品上线，临时申请了三台云服务器（有点措手不及），从晚上8点开始，和同事（小韩）一块进行服务器配置和应用部署，到第二天凌晨3点多，完全部署完成，并进行了服务测试，一切ok！有点小兴奋，晚上吃了个饭，到凌晨5点才在会议室睡着了（是不是有点贱）。 下面记...
Hadoop Namenode性能诊断及优化
01-22
Hadoop Namenode性能诊断及优化
Hadoop HDFS namenode故障恢复
大数据流浪法师的学习笔记与分享
11-06 924
SecondaryNamenode对Namenode当中的Fsimage和Edits进行合并时，每次都会先将Namenode的Fsimage与Edits文件拷贝一份过来，所以fsimage与edits文件在secondarNamendoe当中也会保存有一份，如果namenode的fsimage与edits文件损坏，那么我们可以将secondaryNamenode当中的fsimage与edits拷贝...
Hadoop HA namenode宕机环境恢复
邢为栋
05-05 2499
描述 Ambari管理的Hadoop生产集群开启了HA，在运行期间，namenode1(nn1)为活跃(active)namenode，namenode2(nn2)为备用(standby)namenode。 nn1主机在运行期间宕机，nn2切换为active namenode，重启nn1主机，系统启动失败。 硬件检测正常，排除硬件问题。 最优的解决方案是修复操作系统，尝试多种方法，结果失败。 这时...
hadoop fsck命令及namenode元数据修复.
ForestCat的专栏
08-10 1718
报错如下: FATAL org.apache.hadoop.hdfs.server.namenode.FSEditLog: Error: recoverUnfinalizedSegments failed for required journal (JournalAndStream(mgr=QJM to [192.168.76.201:8485, 192.168.76.202:8485, 192.168.76.203:8485], stream=null)) java.lang.AssertionEr.
Namenode做block Recovery过程详细剖析
Mac Track
09-15 4346
hdfs为什么会做block recovery 说HDFS的block recovery，其实就是Namenode认为该block的状态需要发生一些变化，其原信息和数据都需要做一些相应的调整（或恢复），原信息的调整在namenode上，而由于数据本身是存储在datanode的磁盘上的，所以数据本身的调整其实是由datanode来完成。 那么，为什么Namenode会认为某个bl
Hadoop namenode 数据恢复
qq_21153619的博客
08-23 1350
hdfs的namenode元数据是存储在硬盘上的，但是断电可能会造成元数据丢失，发生数据丢失以后，可以采取以下方法对数据进行恢复。   先format namenode： hadoop namenode –format 然后把SNameNode上的${SecondaryNameNode Checkpoint directories}路径下所有文件远程拷贝到NameNode的${NameNode...
Hadoop中namenode出现故障的解决方法
xc_wt的博客
09-03 3371
Namenode故障后，可以采用如下两种方法恢复数据。 方法一：将SecondaryNameNode中数据拷贝到namenode存储数据的目录 方法二：使用-importCheckpoint 选项启动namenode守护进程，从而将SecondaryNamenode中华数据拷贝到namenode目录中。 ①：手动拷贝SecondaryNameNode数据： 1）kill -9 nameno...
NameNode Recovery Tools for the Hadoop Distributed
chuanjiaoye5017的博客
07-02 466
Most system administrators have had to deal with a bad hard disk at some point. One moment, the hard disk is a mechanical marvel; the next, it is...
Hadoop的NameNode
zhoudado921的博客
11-07 795
1、NameNode Metadata 2、NameNode介绍 (1)是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。 （2）文件包括： fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息。 edits:操作日志文件。 fstime:保存最近一次checkpoint的时间。 以上这些文件是保存...
$HADOOP_HOME/logs/hadoop-*-namenode-*.log bash: /opt/programs/hadoop-2.7.6/logs/hadoop-root-namenode-hadoop04.log: Permission denied
最新发布
04-21
<think>好的，我现在需要帮助用户解决Hadoop Namenode日志文件权限被拒绝以及Namenode启动失败的问题。首先，我需要回顾用户之前提供的信息和引用内容，以便综合分析和给出准确的解决方案。 用户提到在查看Namenode日志时遇到权限问题，具体是hadoop-root-namenode-hadoop04.log的权限被拒绝。此外，Namenode启动失败，可能涉及到权限问题。根据用户提供的引用内容，之前的问题主要是权限不足导致的，例如引用[1]中的Permission denied通过修改目录权限解决，引用[2]和[4]中的SSH公钥认证问题，以及引用[3]中的信号15导致的关闭。 首先，针对日志文件权限被拒绝的问题，应该检查日志文件的所属用户和组是否正确。Hadoop的日志文件通常由运行Hadoop服务的用户（如hdfs或hadoop用户）拥有。如果当前用户没有权限访问这些日志，可能需要使用sudo或者更改文件权限。 其次，Namenode启动失败可能有多种原因，包括元数据损坏、端口冲突、JournalNode通信问题等。但用户特别提到了权限问题，所以需要重点检查相关目录和文件的权限设置，例如NameNode的数据目录、日志目录以及SSH密钥的配置。 接下来，结合用户提供的引用，引用[4]提到需要正确设置SSH密钥的权限，特别是authorized_keys文件的权限为600。如果NameNode在启动过程中需要通过SSH连接到其他节点，权限配置错误可能导致认证失败，进而导致启动失败。 此外，引用[1]中通过chown命令解决权限问题，这可能适用于日志目录或数据目录的所有权问题。用户当前的日志文件hadoop-root-namenode-hadoop04.log的所有者可能是root，而Hadoop服务可能以其他用户（如hadoop用户）运行，导致权限冲突。 还需要检查Hadoop的配置文件，例如hdfs-site.xml和core-site.xml，确认NameNode的数据目录和日志目录路径是否正确，并且这些目录的权限设置是否合适。如果目录权限不正确，可能导致NameNode无法写入必要的元数据或日志文件，从而启动失败。 同时，用户提到的另一个错误是启动时出现Permission denied (publickey, ...)，这可能与SSH无密码登录配置有关。需要确保主节点能够通过SSH公钥认证连接到其他节点，而无需密码。这涉及到生成SSH密钥对，并将公钥添加到各节点的authorized_keys文件中，并设置正确的文件权限。 综合以上分析，解决步骤可能包括： 1. 检查日志文件的权限，使用chown或chmod修改为正确的用户和权限。 2. 检查NameNode数据目录和日志目录的所有权和权限。 3. 确认SSH配置正确，包括authorized_keys的权限和内容。 4. 查看具体的错误日志，定位启动失败的原因，如元数据损坏、端口冲突等。 5. 根据错误日志中的具体信息，采取相应的修复措施，如修复元数据、释放端口、重启服务等。 在实施这些步骤时，需要确保每一步操作都符合Hadoop的最佳实践，避免引入新的问题。例如，修改目录权限时，应确保不会影响其他服务的正常运行，或者在进行元数据恢复前备份现有数据，以防万一。 最后，要确保用户能够理解并执行这些步骤，可能需要提供具体的命令示例和检查方法，帮助用户逐步排查和解决问题。同时，提醒用户在修改系统文件和目录权限时谨慎操作，避免不必要的安全风险。</think>### Hadoop NameNode权限问题与启动失败解决方案 --- #### 一、日志文件权限修复 当出现`hadoop-root-namenode-hadoop04.log Permission denied`错误时，说明当前用户无权访问日志文件。以下是具体修复步骤： ```bash # 1. 确认日志文件归属（通常应为hadoop用户） ls -l $HADOOP_HOME/logs/hadoop-root-namenode-*.log # 2. 修改文件所有者（假设Hadoop服务用户是hadoop） sudo chown hadoop:hadoop $HADOOP_HOME/logs/hadoop-root-namenode-hadoop04.log # 3. 设置正确的读写权限（推荐640权限） sudo chmod 640 $HADOOP_HOME/logs/hadoop-root-namenode-hadoop04.log ``` **注意**：若所有日志文件均存在权限问题，可直接修改整个日志目录权限： ```bash sudo chown -R hadoop:hadoop $HADOOP_HOME/logs/ sudo chmod 750 $HADOOP_HOME/logs/ ``` --- #### 二、NameNode启动失败的权限根源分析 根据引用[4]和实际部署经验，NameNode启动失败通常由以下权限问题导致： ##### 1. SSH密钥配置问题（关键） **现象**：日志中出现`Permission denied (publickey,...)`错误（如引用[2]所示） **修复步骤**： ```bash # 生成SSH密钥（在NameNode主机执行） ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa # 分发公钥到所有节点（包括本机） ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@hadoop04 # 验证无密码登录 ssh hadoop@hadoop04 date # 设置关键权限（必须！） chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys ``` ##### 2. 数据目录权限异常 **错误特征**：`FATAL org.apache.hadoop.hdfs.server.namenode.NameNode: Failed to start namenode` **修复命令**： ```bash # 检查元数据存储目录（具体路径见hdfs-site.xml） ls -ld /data/hadoop/namenode # 修正权限（假设目录属于hadoop用户） sudo chown -R hadoop:hadoop /data/hadoop/namenode sudo chmod 755 /data/hadoop/namenode ``` --- #### 三、综合故障排查流程 ##### 1. 快速定位错误 ```bash # 查看最近100行日志（需有权限） tail -n 100 $HADOOP_HOME/logs/hadoop-root-namenode-*.log | grep -C 5 "ERROR\|Exception" # 典型错误示例： # java.io.IOException: Incompatible clusterIDs # 表示namenode与datanode的clusterID不一致 ``` ##### 2. 元数据完整性检查 ```bash # 检查fsimage与edits文件（需停止服务） hdfs oiv -p XML -i /data/hadoop/namenode/current/fsimage_0000000000000000123 -o /tmp/fsimage.xml # 验证结果 head -n 20 /tmp/fsimage.xml | grep 'version' ``` ##### 3. 端口冲突检测 ```bash # 检查默认端口占用（8020/9000/50070） sudo lsof -i :8020 # 若发现冲突进程，强制终止： sudo kill -9 $(sudo lsof -t -i :8020) ``` --- #### 四、高级修复方案 ##### 场景1：元数据损坏 ```bash # 1. 进入安全模式 hdfs dfsadmin -safemode enter # 2. 执行块修复 hdfs fsck / -delete # 3. 恢复元数据（谨慎操作！） hdfs namenode -recover ``` ##### 场景2：文件句柄不足 ```bash # 查看当前限制 ulimit -n # 永久修改（添加至/etc/security/limits.conf） hadoop - nofile 65536 ``` --- #### 五、预防性配置建议 ##### 1. 权限自动化配置 在`hadoop-env.sh`中添加： ```bash export HADOOP_LOG_DIR=/var/log/hadoop export HADOOP_SECURE_DN_USER=hadoop ``` ##### 2. 关键文件监控 ```bash # 监控元数据目录变化 watch -n 60 'ls -l /data/hadoop/namenode/current/ | grep fsimage' ``` --- ### 常见问题解答 **Q1: 为什么修复权限后仍无法启动NameNode？** 可能原因： - JournalNode未同步（HA模式下） - 堆内存不足（查看`jps`输出中的内存使用） - 配置文件存在语法错误（使用`hadoop checknative`验证） **Q2: 如何验证SSH配置正确性？** 执行： ```bash ssh -vvv hadoop@localhost 2>&1 | grep "Authentication succeeded" ``` --- ### 相关问题 1. Hadoop集群如何配置Kerberos认证？ 2. 如何通过JournalNode恢复丢失的元数据？ 3. NameNode的HA切换机制是如何工作的？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值