HDFS文件读取、写入过程详解

HDFS架构

-----------------------------

运行在廉价的硬件之上的、成本较低的、访问大型数据集、具有容错的特性、容错机制。HDFS是master/slaves架构，由一个名称节点以及多个数据节点构成。namenode负责namespace管理以及client的访问。内部文件被切块存储在数据节点的集合中。

 

NameNode(元数据节点)：存放元数据（名称空间、副本数、权限、块列表、集群配置信息...），不包含数据节点。元数据节点将文件系统元数据存储在内存中。
DataNode（数据节点）:真正存储数据的地方，以数据块为单位。默认数据块大小为128M。数据节点周期性的将所有存储块信息发送给元数据节点。客户端通过和NameNode节点沟通后，再向数据节点对数据读出或写入。