Hadoop-HA的HDFS集群原理分析

本文探讨了HDFS集群中出现的问题,特别是NameNode单点故障及其解决方案。通过引入额外的NameNode进行数据备份,并利用Zookeeper和JournalNode实现自动故障转移及避免脑裂问题。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

  1. 简单HDFS集群中存在的问题?
    如何解决NameNode 单节点问题 单节点自动故障转移
  2. 如何解决NameNode单节点问题?
    a. 找一个额外的NameNode备份原有数据
    b. 如何解决集群中脑裂(一个集群中多个管理者数据不一致这种情况叫做脑裂)
  3. 如何解决启动多个NameNode时保证统一时刻只有一个NameNode工作,避免脑裂问题?
    在这里插入图片描述
    在这里插入图片描述

QJM 使用zookeeper完成高可用
zookeeper作为一个监控者,NameNode相互切换的工作,如果活跃节点active宕机,自动切换stanby为活跃节点
zookeeper集群部署
JournalNode:1. 保证两个NameNode的数据,将当前活跃NameNode的editosNode数据保存到自己的磁盘,再同步到stanby;2. 隔离机制:在HA集群中,如果活跃的NameNode与Zookeeper出现网络延迟这种情况时,zk将会自动切换NameNode(standby)为活跃节点,这个时候集群就会出现多个NameNode(active),这就面临集群脑裂问题,怎么解决?JournalNode的隔离机制保证这一时刻只能有一个NameNode(active),使用ssh登录到NameNode 节点上使用kill命令杀死NameNode
在这里插入图片描述

在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

文文鑫

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值