本文介绍了分布式文件系统的基本概念和HDFS的工作原理。HDFS采用主从式架构，NameNode作为管理节点负责元数据管理，DataNode存储数据块。文章详细讲解了NameNode的元数据文件，包括fsimage和edits，以及SecondaryNameNode在定期合并元数据和备份中的作用。此外，还讨论了HDFS的高可用性和故障恢复策略。
Distributed File System
1.数据量越来越多，在一个操作系统管辖的范围存储不下来，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，因此迫切需要一种系统来管理多台机器上的文件，分布式文件系统由此产生。
2.它是一种允许文件通过网络在多台主机上分享的文件系统，可以让多台机器上的用户分享文件和存储空间。
3.通透性，让实际上是通过网络来访问文件的动作，由程序与用户看来，就像访问本地的磁盘一般。
4.容错性，即使系统中有些节点脱机，整体来说系统任然可以持续运作而不会有数据损失。
5.分布式文件管理系统有很多，HDFS只是其中的一种，HDFS适用于一次写入多次查询的情况，不支持并发写入的情况，对小文件的操作也不太适合。
HDFS：Hadoop Distributed File System 分布式文件系统。
HDFS的架构：
主从式结构
<
最低0.47元/天 解锁文章
扫一扫
564
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
