原理:通过双NameNode消除单点故障。
1.HDFS-HA工作要点
1.1.元数据管理方式需要改变
内存中各自保存一份元数据;
Edits日志只有Active状态的NameNode节点可以做写操作;(备份的那个不提供写操作–编辑日志不同步)
两个NameNode都可以读取Edits;
共享的Edits放在一个共享存储中管理(qjournal和NFS两个主流实现–解决了编辑日志不同步问题);
1.2需要一个状态管理功能模块
实现了一个zkfailover(Hadoop的一个进程-故障转移),常驻在每一个namenode所在的节点,每一个zkfailover负责监控自己所在NameNode节点,利用zk进行状态标识,当需要进行状态切换时,由zkfailover来负责切换,切换时需要防止split brain(脑裂)现象的发生。
1.3无密码登录
必须保证两个NameNode之间能够ssh无密码登录。
1.4隔离(Fence)
即同一时刻仅仅有一个NameNode对外提供服务。
2.自动故障转移工作机制
可以使用命令hdfs haadmin -failover手动进行故障转移,但是在该模式下,即使现役NameNode已经失效,系统也不会自动从现役NameNode转移到待机NameNode,下面介绍如何配置部署HA自动进行故障转移。
自动故障转移为HDFS部署增加了两个新组件:ZooKeeper和ZKFailoverController(ZKFC–Hadoop进程)进程,如图3-20所示。ZooKeeper是维护少量协调数据,通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper的以下功能:
1)故障检测:集群中的每个NameNode在ZooKeeper中维护了一个