本文详细介绍了HDFS的架构，包括NameNode、SecondaryNameNode和DataNode的角色。重点解析了HDFS的读取和写入数据流程。读取时，客户端通过FileSystem对象获取block位置，优先选择距离近的DataNode进行数据传输。写入时，数据被切割成packet，通过DataStreamer创建pipeline，确保数据的冗余和可靠性。此外，文章还探讨了不同场景下的数据存储策略，如客户端是DataNode的情况。
1 HDFS
如上图所示，HDFS也是基于Master/Slave的结构。分NameNode、SecondaryNameNode、DataNode这几个角色。
NameNode：是Master节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间；
SecondaryNameNode：是一个小弟，分担大哥namenode的工作量；是NameNode的冷备份；合并fsimage和fsedits然后再发给namenode。
DataNode：Slave节点，奴隶，干活的。负责存储client发来的数据块block；执行数据块的读写操作。
热备份：b是a的热备份，如果a坏掉。那么b马上运行代替a的工作。
冷备份：b是a的冷备份，如果a坏掉。那么b不能马上代替a工作。但是b上存储a的一些信息，减少a坏掉之后的损失。
fsimage:元数据镜像文件（文件系统的目录树。）
edits：元数据的操作日志（针对文件系统做的修改操作记录）
namenode内存中存储的是=fsimage+edits。
SecondaryNameNode负责定时默认1小时，从namenode上，
最低0.47元/天 解锁文章
扫一扫
367
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
