HDFS-HA工作机制

HDFS-HA通过双NameNode实现单点故障消除。元数据在内存中分别保存,Edits日志由Active NameNode写入,共享存储管理。Zookeeper和ZKFailoverController协调故障转移,健康监测确保无脑裂。故障检测和现役NameNode选择依赖ZooKeeper,ZKFC管理NameNode状态并执行故障转移。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

原理:通过双NameNode消除单点故障。

1.HDFS-HA工作要点

1.1.元数据管理方式需要改变

内存中各自保存一份元数据;
Edits日志只有Active状态的NameNode节点可以做写操作;(备份的那个不提供写操作–编辑日志不同步)
两个NameNode都可以读取Edits;
共享的Edits放在一个共享存储中管理(qjournal和NFS两个主流实现–解决了编辑日志不同步问题);

1.2需要一个状态管理功能模块

实现了一个zkfailover(Hadoop的一个进程-故障转移),常驻在每一个namenode所在的节点,每一个zkfailover负责监控自己所在NameNode节点,利用zk进行状态标识,当需要进行状态切换时,由zkfailover来负责切换,切换时需要防止split brain(脑裂)现象的发生。

1.3无密码登录

必须保证两个NameNode之间能够ssh无密码登录。

1.4隔离(Fence)

即同一时刻仅仅有一个NameNode对外提供服务。

2.自动故障转移工作机制

可以使用命令hdfs haadmin -failover手动进行故障转移,但是在该模式下,即使现役NameNode已经失效,系统也不会自动从现役NameNode转移到待机NameNode,下面介绍如何配置部署HA自动进行故障转移。
自动故障转移为HDFS部署增加了两个新组件:ZooKeeper和ZKFailoverController(ZKFC–Hadoop进程)进程,如图3-20所示。ZooKeeper是维护少量协调数据,通知客户端这些数据的改变和监视客户端故障的高可用服务。HA的自动故障转移依赖于ZooKeeper的以下功能:
1)故障检测:集群中的每个NameNode在ZooKeeper中维护了一个

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值