HDFS之Qurom Journal Manager（QJM）实现机制分析

最新推荐文章于 2025-01-20 16:54:41 发布

置顶

liuhong1123

最新推荐文章于 2025-01-20 16:54:41 发布

阅读量2.7k

点赞数 1

分类专栏： HDFS 文章标签： HDFS

本文链接：https://blog.youkuaiyun.com/liuhong1123/article/details/8881184

版权

本文详细介绍了HDFS的Quorum Journal Manager（QJM）设计，旨在提供NameNode高可用。QJM通过写入多台JournalNode实现日志同步，并采用多数节点返回成功的策略保证数据一致性。在读写日志和恢复机制中，QJM确保了即使在节点故障情况下仍能保证服务的连续性和数据完整性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.前言

1.1背景

自从hadoop2版本开始，社区引入了NameNode高可用方案。NameNode主从节点间需要同步操作日志来达到主从节点元数据一致。最初业界均通过NFS来实现日志同步，大家之所以选择NFS，一方面因为可以很方便地实现数据共享，另外一方面因为NFS已经发展20多年，已经相对稳定成熟。

虽然如此，NFS也有缺点不能满足HDFS的在线存储业务：网络单点及其存储节点单点。业界提供了数据共享的一些高可用解决方案，但均不能很好地满足目前HDFS的应用场景。

方案	网络单点	存储单点	备注
Mysql HA	无	无	数据有丢失风险
Drbd+heartbeat+NFS	无	无	脑裂；数据有丢失风险
Keepalive+NFS	无	有	数据有丢失风险