本文介绍了Hadoop HDFS的架构，重点讨论了块的复制策略，包括默认的3副本分布方式，以及机架感知策略。此外，还详细解释了NameNode如何管理元数据，包括EditLog和FsImage在文件系统状态更新中的作用，以及安全模式和检查点的概念。
HDFS可以跨越大集群中的机器可靠地存储非常大的文件，将文件存储为一系列的块，除了最后一个块外，所有的块的大小都是相同的。当然若文件大小正好为块大小的倍数则所有块的大小相同。为了容错的目的，一个文件的块会被复制成若干份，块大小和复制因子是可配置的。应用程序可以指定文件的副本数量，复制因子可以在文件创建时指定，也可以以后修改。HDFS中的文件是一次性写入的，在任何时候都是严格一次性写入的。
NameNode做出关于块副本的决定，它周期性地收到集群中每个DataNode的心跳和块报告。收到心跳意味着DataNode运行正常，块报告包含DataNode上所有块的清单。下图即为DataNode中块复制和NameNode中元数据的图示。
副本的布局对HDFS的可靠性和性能是很关键的，副本布局的优化是HDFS和其它多数分布式文件系统的区别，优化副本布局需要很多调试及经验。机架感知的副本布局策略
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
