HDFS 在 HA 模式集群下 JournalNode 节点的作用

最新推荐文章于 2024-06-20 10:55:19 发布

码农UP2U

最新推荐文章于 2024-06-20 10:55:19 发布

阅读量7.1k

点赞数 9

CC 4.0 BY-SA版权

分类专栏：大数据后端功能文章标签： hdfs hadoop 大数据 JournalNode HDFS HA

本文链接：https://blog.youkuaiyun.com/easysec/article/details/121913815

HDFS的高可用(HA)模式通过Active和Standby NameNode以及JournalNode解决了单点故障问题。在保证数据一致性的同时，JournalNode集群提供异步同步，确保了系统的可用性。当Active NameNode更新元数据时，会写入JournalNode，Standby NameNode从JournalNode获取更新，实现最终一致性。这种架构在提高可用性的同时，确保了数据的一致性。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、HDFS 两个 NN 同步哪些数据

二、两个节点同步数据的数据一致性问题

三、HDFS 中的 JournalNode 节点

四、HDFS HA 模式架构图

五、总结

HDFS 在非 HA 模式的集群下，NameNode 和 DataNode 是一个主从的架构。在这样的主从架构之下只有一台 NameNode。一台 NameNode 的好处是无需因为元数据的同步而考虑数据的一致性问题。但是，只有一台 NameNode 也会有很多的坏处，因为，单台 NameNode 的情况下会出现所有单机都会出现的问题。最简单的问题就是，当这一台 NameNode 挂掉后，整个集群将不可用了。

为了解决单台 NameNode 挂掉不可用的问题，HDFS 在 2.x 版本的时候引入了 HDFS 集群的 HA 模式，也就是有了 NameNode 的主备架构。在 2.x 的版本中，HDFS 支持一主一备的架构，在 3.x 的版本中最多支持 5 个，官方推荐使用 3 个。（这里只整理了 HDFS 在单 NameNode 情况下挂掉的问题，没有整理关于容量的问题）。

一、HDFS 两个 NN 同步哪些数据

在 HDFS 非 HA 模式的集群下，只有一个 NameNode，而在 HDFS 的 HA 模式集群下，存在两个 NameNode，一个是活动的 NameNode，称为 Active，另外一个是备用的 NameNode，称为 Standby。当 Active 节点出现问题时，需要将 Standby 节点切换为 Act