1.高可用简介
Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用,两者的实现基本类似,但HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多,所以它的实现也更加复杂。
HDFS的高可用实质是主备共享存储系统,不管是zookeeper还是QJM都是这个原理,一下是基于zookeeper的高可用集群搭建。
1.1 高可用整体架构
HDFS 高可用架构如下:

HDFS 高可用架构主要由以下组件所构成:
- Active NameNode 和 Standby NameNode:两台 NameNode 形成互备,一台处于 Active 状态,为主 NameNode,另外一台处于 Standby 状态,为备 NameNode,只有主 NameNode 才能对外提供读写服务。
- 主备切换控制器 ZKFailoverController:ZKFailoverController 作为独立的进程运行,对 NameNode 的主备切换进行总体控制。ZKFailoverC
本文详细介绍了如何基于ZooKeeper搭建Hadoop【2.6.0-cdh5.15.2】的高可用集群,涵盖HDFS和YARN的主备切换机制,以及集群规划、前置条件、配置、启动等步骤,确保至少一主一备的NameNode和ResourceManager,并讨论了QJM的数据同步策略。
订阅专栏 解锁全文
972

被折叠的 条评论
为什么被折叠?



