HDFS简介

为什么80%的码农都做不了架构师？>>>   

HDFS是分布式文件系统，它默认的存储单元是64M的数据块, 包括namenode,datanode,secondary namenode.

namenode(元数据节点)： 1.namenode是用来管理文件系统的命名空间的，它将所有的文件和文件夹的元数据都保存在一个文件系统树中。 2.这些信息也会在硬盘上保存成命名空间镜像(namespace image)及修改日志(edit log)。 3.它还保存了一个文件里面包括哪些数据块，分布在哪些数据节点上，但是这些信息不存储在硬盘上，而是系统启动时从数据节点(datanode)收集的。

datanode(数据节点)：datanode是真正存储数据的地方。 1.client或者namenode可以向datanode请求写入或者读出数据块。 2.定时向namenode汇报存储数据块信息。

seccondary namenode(从元数据节点)：它并不是备用的namenode节点，它负责不同的事。 1.它会周期性地将namenode的namespace image和 editlog合并，以防日志文件过大。 2.合并之后的namespace image会在secondary namenode中保存一份，防止namenode节点失败时可以恢复。

转载于:https://my.oschina.net/134596/blog/1647111