HA 模式下的 Hadoop+ZooKeeper+HBase 启动顺序

本文详细介绍了在HA模式下,如何正确启动和关闭Hadoop、ZooKeeper和HBase集群。正确的启动顺序为ZooKeeper -> Hadoop -> HBase,关闭时务必避免先停ZooKeeper再停HBase。文中还涵盖了首次启动/格式化集群的步骤,并列举了常见的问题与解决方案。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


一. 背景

1.1 网络上的大部分教程的顺序

1. 启动顺序

  • Hadoop
  • ZooKeeper
  • HBase
  • 第二个HMaster

2. 停止顺序

  • 第二个 HMaster,kill-9 删除
  • Hbase
  • ZooKeeper
  • Hadoop

Note:网上的以上的顺序并不适合 HA 模式下


1.2 主机规划

IP 主机名 用户名 部署模块 进程
10.6.3.43 master5 hadoop5 NameNode
ResourceManager
HBase
NameNode
DFSZKFailoverController
ResourceManager
HMaster
JobHistoryServer
10.6.3.33 master52 hadoop5 NameNode
ResourceManager
HBase
NameNode
DFSZKFailoverController
ResourceManager
HMaster
JobHistoryServer
10.6.3.48 slave51 hadoop5 DataNode
NodeManager
Zookeeper
HBase
DataNode
NodeManager
HRegionServer
JournalNode
QuorumPeerMain
10.6.3.32 slave52 hadoop5 DataNode
NodeManager
Zookeeper
HBase
DataNode
NodeManager
HRegionServer
JournalNode
QuorumPeerMain
10.6.3.36 slave53 hadoop5 DataNode
NodeManager
Zookeeper
HBase
DataNode
NodeManager
HRegionServer
JournalNode
QuorumPeerMain

1.3 正确的启动顺序

1. ZooKeeper -> Hadoop -> HBase

2. ZooKeeper -> JournalNode (Hadoop) -> NameNode (Hadoop) -> DataNode (Hadoop) -> 主 ResourceManager/NodeManager (Hadoop) -> 备份 ResourceManager (Hadoop) -> ZKFC (Hadoop) -> MapReduce JobHistory (Hadoop) -> 主 Hmaster/HRegionServer (HBase) ->备份 Hmaster (HBase)



二. 首次启动/格式化集群

1. 启动 ZooKeeper 集群
在集群中安装 ZooKeeper 的主机上启动 ZooKeeper 服务。在本教程中也就是在 slave51、slave52、slave53 的主机上启动相应进程。分别登陆到三台机子上执行:

zkServer.sh start


2. 格式化 ZooKeeper 集群
在任意的 namenode 上都可以执行,笔者还是选择了 master5 主机执行格式化命令

hdfs zkfc –formatZK


3. 启动 JournalNode 集群
分别在 slave51、slave52、slave53 上执行以下命令

hadoop-daemon.sh start journalnode


4. 格式化集群的 NameNode

在 master5 的主机上执行以下命令,以格式化 namenode:

hdfs namenode -format


5. 启动刚格式化的 NameNode
刚在 master5 上格式化了 namenode ,故就在 master5 上执行

adoop-daemon.sh start namenode


6. 同步 NameNode1 元数据到 NameNode2 上
复制你 NameNode 上的元数据目录到另一个 NameNode,也就是此处的 master5 复制元数据到 master52 上。在 master52 上执行以下命令:


                
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值