Hadoop Namenode HA 合并到主干

为解决Hadoop中Namenode的单点故障问题,社区已开发并合并了Namenode HA方案。该方案通过引入Active和Standby两种状态的Namenode,实现了服务的高可用性。Standby状态包括Cold、Warm和Hot三种类型,其中Hot Standby能实现快速的服务切换。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


Hadoop 的 Namenode 单点问题一直广受诟病,而这个问题最近将会得到解决,对Namenode 的HA方案已经完成实施并合并到主干,经过严格的测试后将会在后续版本中发布。

HA方案中,主要进行了如下的一些工作:

  • Configuration changes for HA
  • Notion of active and standby states were added to the Namenode
  • Client-side redirection
  • Standby processing journal from Active
  • Dual block reports to Active and Standby

其主要原理是将NameNode分为两种角色,Active和Standby,Active就是正在进行服务的NameNode,而Standby又分三种情况

  • Cold Standby:是当Active NN已经挂掉后才起来的,它本身没有保存任何数据,这时候并不会减少恢复时间
  • Warm Standby:是在Active NN挂掉前起来的,其中保存了一部分数据,所以在恢复时只需要恢复没有的数据,减少了恢复时间
  • Hot Standby:它里面保存的数据和Active是完成一样的,可以直接热切换到它上面继续服务
详细介绍请看设计文档: NameNode+HA_v2.pdf
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值