本文深入探讨了HDFS的架构，重点在于副本策略和元数据管理。HDFS通过副本提高数据可靠性，通常采用3个副本，其中1个位于本地机架，1个在不同机架，1个在第二机架的另一节点。NameNode负责副本决策，并通过心跳和块报告监控DataNode。NameNode的元数据存储在FsImage和EditLog中，启动时进行检查点处理。此外，DataNode根据启发式算法在本地文件系统存储HDFS数据块。
HDFS可以跨越大集群中的机器可靠地存储非常大的文件，将文件存储为一系列的块，除了最后一个块外，所有的块的大小都是相同的。当然若文件大小正好为块大小的倍数则所有块的大小相同。为了容错的目的，一个文件的块会被复制成若干份，块大小和复制因子是可配置的。应用程序可以指定文件的副本数量，复制因子可以在文件创建时指定，也可以以后修改。HDFS中的文件是一次性写入的，在任何时候都是严格一次性写入的。
NameNode做出关于块副本的决定，它周期性地收到集群中每个DataNode的心跳和块报告。收到心跳意味着DataNode运行正常，块报告包含DataNode上所有块的清单。下图即为DataNode中块复制和NameNode中元数据的图示。
副本的布局对HDFS的可靠性和性能是很关键的，副本布局的优化是HDFS和其它多数分布式文件系统的区别，优化副本布局需要很多调试及经验。机架感知的副本布局策略的目的是改进数据的可靠性、可用性和网络带宽的利用率，副本布局策略的目前实现是上述方向的第一次成果。该策略实现
订阅专栏 解锁全文
扫一扫
1469
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
