完全解析大数据的高可用集群部署

HA介绍

什么是HA

HA: High Availability，高可用集群，指的是集群7*24小时不间断服务。

为什么需要HA

在HDFS中，有NameNode、DataNode和SecondaryNameNode角色的分布，客户端所有的操作都是要与NameNode交互的，同时整个集群的命名空间信息也都保存在NameNode节点。但是，现在的集群配置中只有一个NameNode，于是就有一个问题: 单点故障

那么，什么是单点故障呢？现在集群中只有一个NameNode，那么假如这个NameNode意外宕机、升级硬件等，导致NameNode不可用了，整个集群是不是也就不可用了？这就是单点故障的问题。

为了解决这样的问题，就需要高可用集群了。

高可用的备份方式

• 主从模式（冷备） 

准备两台服务器, 准备相同的程序。 一台服务器对外提供服务, 称为主节点(Active节点); 另外一台服务器平时不对外提供服务, 主要负责和Active节点之间进行数据的同步, 称为备份节点(Standby节点). 当主节点出现故障, Standby节点可以自动提升为Active节点, 对外提供服务。
 ZooKeeper实现的集群高可用, 采用的就是这种模式。

我作为一个班级的讲师，在班级负责授课的工作。如果我有一天生病请假了，是不是咱们班级就得自习一天了？为了解决这样的问题，教学部安排另外一个讲师，每天跟着我。我上课讲课，他就在旁边听着；我上课提问问题，他就在旁边看着；我去吃饭，他也在旁边跟着；我去上个厕所，他也在跟着！做为我的一个影子存在着。由于这个同时每天都会跟着我，因此我的一言一行，讲了什么内容，留了什么作业，吃了什么饭，抽了几根烟，他都知道！那么，如果有一天我生病请假了，他是不是就可以直接替代我为班级上课呢？

• 双主互备（热备）（了解）

 准备两台服务器, 准备相同的程序. 同时对外提供服务(此时, 这两台服务器彼此为对方的备份), 这样, 当一台节点宕机的时候, 另外一台节点还可以继续提供服务. 

小明到肯德基吃饭，找服务员点餐，这是正常的流程。但是，如果服务员只有一个，并且恰好生病了，那么小明是不是将没有办法正常点餐了。为了解决这个问题，肯德基雇了两个服务员，同时提供服务，这样一个服务员出问题了，另外一个服务员依然可以提供服务。

• 集群多备（了解） 

基本上等同于双主互备, 区别就在于同时对外提供服务的节点数量更多, 备份数量更多  肯德基觉得两个服务员也不保险，有两个同时生病的可能性，于是又多雇了几个服务员。

高可用的实现

我们在这里采用的是主从模式的备份方式，也就是准备两个NameNode，一个对外提供服务，称为Active节点；另外一个不对外提供服务，只是实时的同步Active节点的数据，称为Standby的节点。

为了提供快速的故障转移，Standby节点还必须具有集群中块位置的最新信息。为了实现这一点，DataNodes被配置了两个NameNodes的位置，并向两者发送块位置信息和心跳信号。也就是说，DataNode同时向两个NameNode心跳反馈。

高可用架构图

JournalNode

• JournalNode的功能 

Hadoop2.x版本之后, Clouera提出了QJM/QuromJournal Manager, 这是一个基于Paxos算法实现的HA的实现方案
 
 1. 基本的原理就是使用2N+1台JN存储EditLog, 每次写入数据的时候, 有半数以上的JN返回成功的信息, 就表示本次的操作已经同步到了JN
 
 2. 在HA中, SecondaryNameNode这个角色已经不存在了, 保证Standby节点的元数据信息与Active节点的元数据信息一致, 需要通过若干个JN
 
 3. 当有任何的