本文深入解析了Hadoop Distributed File System（HDFS）中DataNode（DN）、NameNode（NN）及SecondaryNameNode（SNN）的角色与功能，阐述了Block的存储策略、副本放置原则以及元数据的管理方式。
简称 Dn 全称 datanode
保存Block
启动DN线程的时候会向NN汇报block信息
通过向NN发送心跳保持与其联系（3秒一次），如果NN 10分钟没有收到DN的心跳，则认为其已经lost，并copy其上的block到其它DN
简称Nn 全称 namenode
NameNode主要功能提供名称查询服务，它是一个jetty服务器
NameNode保存metadate信息包括
文件owership和permissions
文件包含哪些块
Block保存在哪个DataNode（由DataNode启动时上报）
NameNode的metadate信息在启动后会加载到内存
metadata存储到磁盘文件名为”fsimage”
Block的位置信息不会保存到fsimage
简称Snn 全称 secondaryname node
不是NN的热备份
可以作为NN的备份
帮助NN合并edits log 减少NN启动时间
Block的副本放置策略
第一个副本：放置在上传文件的DN；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点
第二个副本：放置在于第一个副本不同的机架的节点上
第三个副本：与第二个副本相同集群的节点
更多副本：随机节点
Block
设置一个Block 64MB，如果上传文件小于该值，仍然会占用一个Block的命名空间（NameNode metadata），但是物理存储上不会占用64MB的空间
Block大小和副本数由Client端上传文件到HDFS时设置，其中副本数可以变更，Block是不可以再上传后变更的
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
