HA-hadoop自动容灾

最新推荐文章于 2025-07-22 14:45:06 发布

原创最新推荐文章于 2025-07-22 14:45:06 发布 · 815 阅读

0 ·

CC 4.0 BY-SA版权

hadoop 专栏收录该内容

25 篇文章

订阅专栏

本文详细介绍了Hadoop集群的搭建步骤，包括关闭和启动Zookeeper与HDFS服务，清空缓存，配置Zookeeper参数，以及HDFS的启动流程。特别关注了Zookeeper的myid设置和zoo.cfg配置，以及HDFS的格式化和HA模式下的元数据迁移。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

-----------------------------------------------------------------------------------------------------------------------
-----------------
-----------------
-----------------
-----------------
1关闭zookeeper
xcall.sh "/home/centos/soft/zookeeper/bin/zkServer.sh stop"

2关闭hdfs
stop-all.sh

3清空zookeeper缓存

xcall.sh "rm -rf /home/centos/zookeeper/v*"
xcall.sh "rm -rf /home/centos/zookeeper/z*"

4清空hdfs缓存
xcall.sh "rm -rf /home/centos/hadooptmp/*"

rm -rf /home/centos/hadooptmp/*
5配置zookeeper
配置myid
echo 1 > /home/centos/zookeeper/myid
echo 2 > /home/centos/zookeeper/myid
echo 3 > /home/centos/zookeeper/myid

配置conf/zoo.cfg

dataDir=/home/centos/zookeeper

server.1=s201:2888:3888
server.2=s202:2888:3888
server.3=s203:2888:3888

6启动zookeeper

xcall.sh "/home/centos/soft/zookeeper/bin/zkServer.sh start"

xcall.sh "/home/centos/soft/zookeeper/bin/zkServer.sh status"

hdfs zkfc -formatZK

7启动hdfs
201-203
hadoop-daemon.sh start journalnode
200
hadoop namenode -format
迁移到206

拷贝元数据到HA s206
scp -r /home/centos/hadooptmp/dfs centos@s206:/home/centos/hadooptmp/

先在s200
启动hdfs
start-dfs.sh (DFSZKFailoverController启动命令)
（如果启动失败：
hadoop-daemon.sh start namenode
hadoop-daemon.sh start datanode
）

启动s206 NN
hadoop-daemon.sh start namenode

切换指南