Hadoop集群执行hdfs namenode -bootstrapStandby报错

最新推荐文章于 2024-06-21 14:34:09 发布
原创 最新推荐文章于 2024-06-21 14:34:09 发布 · 1.3k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #hadoop

本文记录了一次HDFS NameNode同步过程中遇到的错误，详细描述了由于防火墙未关闭导致activenamenode无法将内容复制到standbynamenode的问题。通过检查并关闭防火墙，最终成功执行hdfsnamenode-bootstrapStandby命令。

错误：
在这里插入图片描述
可以看到 报错不能将active namenode的 {dfs.namenode.name.dir} 目录的内容复制到 standby namenode
预测active namenode防火墙没有关闭，查看防火墙状态
在这里插入图片描述
发现防火墙果然没关，关闭防火墙
在这里插入图片描述
重新执行 hdfs namenode -bootstrapStandby
在这里插入图片描述
ok，hdfs namenode -bootstrapStandby执行成功

HDFS Namenode故障恢复：从元数据损坏到集群重启全指南
AI天才研究院
11-01 397
HDFS的Namenode是整个分布式文件系统的“大脑”——它存储着所有文件的元数据（文件名、路径、权限、块位置等），协调Datanode的读写操作。一旦Namenode故障（比如元数据损坏、服务器宕机），整个HDFS集群会完全不可用：既无法读取 existing 文件，也无法写入新文件。新手可能会慌不择路，误操作导致元数据彻底丢失；有经验的工程师也可能因为对“元数据恢复逻辑”理解不深，踩中隐藏的坑（比如恢复后文件块丢失）。本文的目标是把Namenode故障恢复变成可复制的“流程化操作”你将学会。
Hadoop系列之HDFS Namenode 高可用(15)
热门推荐
01-25 6万+
HDFS Namenode 高可用 在 Hadoop 2.0.0 之前，一个集群只有一个Namenode，这将面临单点故障问题。如果 Namenode 机器挂掉了，整个集群就用不了了。只有重启 Namenode ，才能恢复集群。另外正常计划维护集群的时候，还必须先停用整个集群，这样没办法达到 7 * 24小时可用状态。Hadoop 2.0 及之后版本增加了 Namenode 高可用机制，下面详细介绍。 Hadoop Namenode 高可用架构 Hadoop 2.0 克服了 Namenode 单点故障问题
搭建Hadoop HA 高可用bin/hdfs namenode -bootstrapStandby同步nn1 节点报错build = Unknown -r Unknown； compiled by
yidianyidei的博客
08-19 1812
文章目录nn1 节点格式化后 执行nn2 数据节点同步找关键报错配置文件core.site.xmlhdfs-site.xml背景再次同步nn1 节点 nn1 节点格式化后 执行nn2 数据节点同步 [root@hadoop103 hadoop-2.7.2]# bin/hdfs namenode -bootstrapStandby 20/08/13 23:37:08 INFO namenode.NameNode: STARTUP_MSG: /*********************************
HDFS之NameNode
Si_kenn的博客
12-07 718
旁白者笔下初遇Hadoop 昨晚整理的资料不知道是没保存还是怎么的,今天一开机就是找不到,差点没脑裂.所以先提前提醒下伙伴们做事养成随手保存的习惯.其实,我是个蛮谨慎的人的,但是聪明反被聪明误,淹死的往往是会游泳的人,所以在写代码的时候,随手写随手测,小心驶得万年船. 今天没有代码,纯理论,有点枯燥,但是我想对理解NN的工作机制还是很有帮助的.昨天还画了好几遍的图,今天就不画了,大家就看纯文本吧,纯纯的青春,纯纯的爱,就算青春不再依旧热爱.好了,接下来我们就看看NN是怎么工作的吧. 4.NameNode 用
（十一）大数据实战——hadoop高可用之HDFS手动模式高可用
厉害哥哥的博客
08-02 1370
本节内容我们介绍一下hadoop在手动模式下如何实现HDFS的高可用，HDFS的高可用功能是通过配置多个 NameNodes(Active/Standby)实现在集群中对 NameNode 的热备来解决上述问题。如果出现故障，如机器崩溃或机器需要升级维护，这时可通过此种方式将 NameNode很快的切换到另外一台机器，并通过JournalNode实现主备节点的数据同步。
hdfs namenode -initializeSharedEdits 和 hdfs namenode -bootstrapStandby
weixin_33834075的博客
06-12 620
hdfs namenode -initializeSharedEdits  将所有journal node的元文件的VERSION文件的参数修改成与namenode的元数据相同   hdfs namenode -bootstrapStandby   将active namenode的 {dfs.namenode.name.dir} 目录的内容复制到 standby...
【大数据Hadoop】HDFS-Namenode-bootstrapStandby同步元数据的源码步骤分析
如切如磋，如琢如磨，臻于至善。
03-24 1556
为了使Standby节点的状态与Active节点保持同步，两个节点都与一组称为“ JournalNodes”(JNs)的独立守护进程进行通信。当主动节点执行任何名称空间修改时，它会持久地将修改记录记录到大多数JNs上。Standby 节点能够从 JNs 中读取edits，并不断观察它们对edits的更改。当 Standby Node 看到edits时，它将它们应用到自己的名称空间。
bin/hdfs namenode -bootstrapStandby
最新发布
10-28
在提供的引用中未提及 `bin/hdfs namenode -bootstrapStandby` 命令的相关内容。以下是基于通用的 Hadoop 知识对该命令的介绍。 ### 命令作用 `bin/hdfs namenode -bootstrapStandby` 命令主要用于将一个新的或已...
Hadoop3.3.4 + HDFS Router-Based Federation配置
snipercai的博客
06-21 2173
HDFS Router-based Federation 3.34
Hadoop-2.0-NameNode-HA和Federation实践1
08-08
在Hadoop 2.0之前，NameNode作为HDFS的核心组件，它的单点故障可能导致整个Hadoop集群的服务中断，严重影响系统的可用性。为此，Hadoop社区引入了多种解决方案，如Secondary NameNode、Backup NameNode、AvatarNode...
使用hadoop-daemon.sh 启动bootstrapStandby nameNode异常
weixin_30648587的博客
01-12 701
使用hadoop-daemon.sh 启动bootstrapStandby　nameNode异常 启动bootstrapStandby　nameNode时，直接通过ssh 过去执行该命令，一直无法成功，使用的命令如下： ssh 192.168.17.51 "/usr/local/hadoop/sbin/hadoop-daemon.sh start namenode -bootstrapStand...
Hadoop执行过程
Hello World!
02-28 839
转自：http://wangyuanzju.blog.163.com/blog/static/130292011111543033934/ 根据Hadoop++论文的描述，Hadoop执行过程分为Load、Map、Shuffle、Reduce这四个阶段，可以看成是一个由split、itemize、map、reduce等10个函数或算子组成的DAG。其中每一个函数或算子，都可以提供自定义的
HDFS---Namenode
weixin_30426957的博客
07-23 252
Overview Namenode 是HDFS中负责namespace管理的节点，Namenode 保存了当前集群中所存储的的所有的文件的元数据信息，namenode同时与集群中其它的节点通信，以保持元数据与系统中的文件的一致性，同时也和client通信，以响应client对文件的需要。 NameNode中主要有两个大类来处理这些需求， FSNamesystem ---- 是一个门...
bootstrapStandby无法连接错误
cauchy8389的专栏
08-13 1939
hdfs namenode -bootstrapStandby 同步metadata之前一定要确认防火墙没有问题（可以关闭sudo service iptables stop   关闭防火墙，sudo chkconfig iptables off  启动 自动关闭防火墙）并修改主机名sudo vim /etc/sysconfig/network 把hostname改为和hosts配置的同名（需要重...
精通HADOOP（五） - 初识Hadoop - 执行和测试Hadoop样例程序
云时代架构
11-14 1万+
  1.1 执行和测试Hadoop样例程序 在Hadoop安装目录中你会找到包含Hadoop样例程序的JAR文件，你可以用它来试用Hadoop。在你执行这些样例程序以前，你应该保证你的安装是完全的和你的执行时环境的设置是正确的。我们在前面小节中提到，check_basic_env.sh脚本能够帮助你校验安装，如果安装有任何错误，它会提示你改正。   1.1.1 Hadoop的样例代码 hadoop-0.19.0-examples.jar文件包含着数个可以直接运行的样例程序。我们在图标1-4中列出包
hadoop 执行指令
08-16 581
编译打包： mkdir wordcount_classes javac -classpath ${HADOOP_HOME}/hadoop-${HADOOP_VERSION}-core.jar -d wordcount_classes WordCount.java  jar
hdfs-namenode
February13的博客
04-19 1883
其中dfs.namenode.name.dir 属性就是配置namenode这几个（fsimage,edits,seed_txid,version）文件存放的地方，也是core-site.xml中配置的临时目录的地方。配置文件：hdfs-default.xml - 配置namenode的各种属性 是hdfs-site.xml的 派生（会覆盖hdfs-default.xml），当没有配置hdfs-site.xml时，（上述文件所在路径有一个参数（dfs.namenode.name.dir ）去控制：）
笔记1-Hadoop之HDFS的NameNode
m0_73450879的博客
03-23 1692
开源版本的HADOOP和其他框架的对应关系很混乱，要注意。Hadoop四大模块：Common HDFS MapReduce YarnHadoop能对大量的数据进行分布式处理，可以轻松的从一台服务器扩展到千台服务器，并且 每一台服务器都能进行本地计算和存储。Hadoop还提供了用于处理和探测异常的机制。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值