Hadoop HA 重新格式化

最新推荐文章于 2025-09-12 16:35:34 发布

原创最新推荐文章于 2025-09-12 16:35:34 发布 · 3k 阅读

7 ·

CC 4.0 BY-SA版权

文章标签：

#hadoop

Hadoop 专栏收录该内容

3 篇文章

订阅专栏

该博客详细描述了Hadoop集群的初始化过程，包括停止所有服务、清除数据、格式化NameNode、启动JournalNode服务、同步NameNode、初始化Zookeeper中的HA状态以及最终启动集群服务的步骤。涉及的关键操作包括使用stop-all.sh、rm-rf命令清理，hadoop-daemon.sh启动JournalNode和NameNode，以及使用zkfc-formatZK初始化HA状态。

1.停止hadoop所有服务

HADOOP_HOME/sbin/stop-all.sh

2.清除所有数据

rm -rf logs/ tmp/

3.清除根目录下hadoop临时文件

rm -rf /tmp/hadoop/

格式化的时候，在 /tmp/hadoop/dfs/journalnode/mycluster/current 目录下不为空。需要在三台机器下进行清空，只在一台是不行的，而且每次格式化还会生成新的文件，再次格式化还需要清空current下的文件。

4.在各台机器上启动journalnode服务

[root@hadoop101 hadoop-3.1.3]# sbin/hadoop-daemon.sh start journalnode
[root@hadoop102 hadoop-3.1.3]# sbin/hadoop-daemon.sh start journalnode
[root@hadoop103 hadoop-3.1.3]# sbin/hadoop-daemon.sh start journalnode

5.在nn1上对namenode进行格式化

[root@hadoop101 hadoop-3.1.3]# bin/hdfs namenode -format

6.同步,启动nn1的namenode，在 nn2和nn3上进行同步

[root@hadoop101 hadoop-3.1.3]# sbin/hadoop-daemon.sh start namenode
[root@hadoop102 hadoop-3.1.3]# bin/hdfs namenode -bootstrapStandby
[root@hadoop103 hadoop-3.1.3]# bin/hdfs namenode -bootstrapStandby
[root@hadoop102 hadoop-3.1.3]# sbin/hadoop-daemon.sh start namenode
[root@hadoop102 hadoop-3.1.3]# sbin/hadoop-daemon.sh start namenode

7.关闭所有hdfs服务

[root@hadoop101 hadoop-3.1.3]# sbin/stop-all.sh

8.初始化HA在Zookeeper中状态：

[root@hadoop101 hadoop-3.1.3]# bin/hdfs zkfc -formatZK

9.启动集群服务

[root@hadoop101 hadoop-3.1.3]# sbin/start-all.sh