- 简单HDFS集群中存在的问题?
如何解决NameNode 单节点问题 单节点自动故障转移 - 如何解决NameNode单节点问题?
a. 找一个额外的NameNode备份原有数据
b. 如何解决集群中脑裂(一个集群中多个管理者数据不一致这种情况叫做脑裂) - 如何解决启动多个NameNode时保证统一时刻只有一个NameNode工作,避免脑裂问题?


QJM 使用zookeeper完成高可用
zookeeper作为一个监控者,NameNode相互切换的工作,如果活跃节点active宕机,自动切换stanby为活跃节点
zookeeper集群部署
JournalNode:1. 保证两个NameNode的数据,将当前活跃NameNode的editosNode数据保存到自己的磁盘,再同步到stanby;2. 隔离机制:在HA集群中,如果活跃的NameNode与Zookeeper出现网络延迟这种情况时,zk将会自动切换NameNode(standby)为活跃节点,这个时候集群就会出现多个NameNode(active),这就面临集群脑裂问题,怎么解决?JournalNode的隔离机制保证这一时刻只能有一个NameNode(active),使用ssh登录到NameNode 节点上使用kill命令杀死NameNode


本文探讨了HDFS集群中出现的问题,特别是NameNode单点故障及其解决方案。通过引入额外的NameNode进行数据备份,并利用Zookeeper和JournalNode实现自动故障转移及避免脑裂问题。
3937

被折叠的 条评论
为什么被折叠?



