HDFS高可用－Quorum Journal Manager

最新推荐文章于 2023-08-01 22:52:40 发布

原创

最新推荐文章于 2023-08-01 22:52:40 发布 · 1.3k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #namenode #ha #quorum #journal

本文介绍了HDFS实现高可用的一种方式——Quorum Journal Manager。内容包括其工作原理，如Active和Standby NameNode的角色切换，DataNode与JournalNode的协同保证数据一致性，以及Zookeeper在故障检测和Active NameNode选举中的作用。ZKFC作为Zookeeper的组件，负责NameNode的健康监测和session管理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

High Availibility 高可用

要实现HDFS的高可用，有两种方式：
- Quorum Journal Manager
- Network File System

Using Quorum Journal Manager

对于这种方式，根据对官方文档的理解，我画了个图，如下：
这里写图片描述
图上表述了一个集群大概的样子，有3个DataNode, 有两个NameNode，一个是Active, 一个是Standby，每个NameNode节点都有开启ZKFailoverController（简写ZKFC）守护进程，有3个JournalNode。

那么问题来了，它是如何达到高可用呢？
1、首先，它有两个NameNode，一个是Active的，一个是Standby(备援状态)的，当Active宕机后，可以使用Standby的机器。
2、为了保证Standby的机器中，namespace和文件块与Active宕机之前一致，DataNode在向Active NameNode发送块的位置信息和“心跳”时，也要把这些信息发送给Standby NameNode，这样才能保证Standby中的文件块信息与Active NameNode中的数据一