### **
HDFS 高可用（
HA）机制**
HDFS 的高可用（High Availability,
HA）通过 **主备
NameNode** 架构解决单点故障问题，确保集群持续可用。其核心机制如下：
---
#### **1. 核心组件**
| 组件 | 作用 |
|---------------------|----------------------------------------------------------------------|
| **Active
NameNode** | 处理所有客户端请求，管理元数据（写入 EditLog 和 FsImage）。 |
| **Standby
NameNode** | 实时同步 Active
NameNode 的元数据，准备随时接管（故障时自动切换）。 |
| **JournalNodes (JNs)** | 共享存储（通常 3/5 个节点），存储 EditLog 供主备
NameNode 同步。 |
| **ZKFailoverController (ZKFC)** | 监控
NameNode 状态，通过
ZooKeeper 触发主备切换。 |
---
#### **2.
实现原理**
- **元数据同步**
- Active
NameNode 将元数据变更（EditLog）写入 **JournalNodes**。
- Standby
NameNode 从 JNs 读取 EditLog，并定期合并到本地 FsImage，保持与 Active 状态一致。
- **自动故障转移（Failover）**
1. ZKFC 监控 Active
NameNode 健康状态（通过心跳）。
2. 若 Active 故障，ZKFC 在
ZooKeeper 中抢占临时节点（Ephemeral Node），触发切换。
3. Standby 升级为 Active，并接管所有请求。
- **数据完整性保障**
- DataNode 同时向主备
NameNode 发送块报告（BlockReport）。
- 客户端访问时，由新的 Active
NameNode 提供正确的元数据。
---
#### **3. 配置关键参数**
```xml
<!--
hdfs-site.xml -->
<property>
<name>dfs.nameservices</name>
<value>mycluster</value> <!-- 逻辑集群名称 -->
</property>
<property>
<name>dfs.
ha.
namenodes.mycluster</name>
<value>nn1,nn2</value> <!-- 主备
NameNode ID -->
</property>
<property>
<name>dfs.journalnode.edits.dir</name>
<value>/path/to/journal</value> <!-- JournalNode 数据目录 -->
</property>
```
---
#### **4. 手动切换命令**
```bash
# 将 nn1 切换为 Active
hdfs haadmin -transitionToActive nn1
```
---
#### **5. 优势与限制**
- **优势**：
- 避免单点故障，服务连续性达 99.9%+。
- 切换时间通常 < 30 秒（依赖
ZooKeeper 性能）。
- **限制**：
- 需额外维护 JournalNodes 和
ZooKeeper 集群。
- 脑裂（Split-Brain）问题需通过 Fencing（隔离）机制解决（如 SSH 杀死旧 Active 进程）。
---
扫一扫
1314
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
