HDFS 基本原理和读写流程

HDFS 基本原理和读写流程

基本架构

HDFS是一个 主从(Master/Slaves)架构 , 由一个NameNode和一些DataNode组成，NameNode为主；
面向文件包含：文件数据(data)和文件元数据(metadata)；
NameNode负责存储和管理文件元数据(在内存)，并维护了一个层次型的文件目录树；
DataNode负责存储文件数据(block块)，并提供block的读写；
DataNode与NameNode维持心跳，并汇报自己持有的block信息；
Client和NameNode交互文件元数据和DataNode交互文件block数据；

NameNode：

• 完全基于内存存储文件元数据、目录结构、文件block的映射
• 需要***持久化***方案保证数据可靠性
• 提供副本放置策略

DataNode

• 基于本地磁盘存储block(文件的形式)
• 并保存block的校验和数据保证block的可靠性
• 与NameNode保持心跳，汇报block列表状态

NameNode 持久化

NameNode 使用内存来达到快速反应文件元数据的信息，但是内存的数据存在丢失的风险，所以就需要对元数据进行持久化操作；

持久化的两种方式：

1. 当前时刻的快照：

   • 特点：使用快照进行数据恢复速度快，但是快照是间隔的，容易丢失一部分数据；

2. 每操作记录的日志

   • 特点：完整性较好，但是恢复数据的速度慢；

NameNode 采用结合两者的方式：最近时点的 FsImage + 增量的 EditsLog(SNN 去完成)

如下：

现在10点
	FI:9点+ 9点到10点的增量的EL
	1，加载FI
	2, 加载EL
	3，内存就得到了关机前的全量数据！！！！

Hdfs 中的 (Secondary NameNode)SNN

在非 HA 模式下，,SNN一般是一个独立的节点，周期完成对 NameNode 的 EditLog 向 FsImage 合并，减少 EditLog 大小，减少NameNode启动时间
根据配置文件设置的时间间隔：checkpoint.period 默认为 3600秒 或者根据配置的 editsLog 大小 fs.checkpoint.size edis 文件的最大值 默认是 64 MB

实现原理：

NameNode 安全模式

保证数据副本数，否则不对外提供服务

Namenode启动后会进入一个称为安全模式的特殊状态。
处于安全模式的Namenode是不会进行数据块的复制的。
Namenode从所有的 Datanode接收心跳信号和块状态报告。
每当Namenode检测确认某个数据块的副本数目达到这个最小值，那么该数据块就会被认为是副本安全(safely replicated)的。
在一定百分比（这个参数可配置）的数据块被Namenode检测确认是安全之后（加上一个额外的30秒等待时间），Namenode将退出安全模式状态。
接下来它会确定还有哪些数据块的副本没有达到指定数目，并将这些数据块复制到其他Datanode上。

存储模型

HDFS 写流程

1. Client 和 NameNode 建立连接，创建文件元数据
2. NameNode 判断元数据信息是否有效
3. NameNode 触发副本放置策略，返回一个有序列表
4. Client 根据返回的 DataNode 列表，建立 PipeLine 连接
5. Client 将数据切分为 packet 发送给第一个 DataNode
6. 第一个DataNode 接受后，会向第二个发送，第二个也是如此

Block的副本放置策略

第一个副本：放置在上传文件的DN；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。
第二个副本：放置在于第一个副本不同的机架上的节点。
第三个副本：与第二个副本相同机架的不同节点。
更多副本：随机节点

HDFS 读流程

为了降低整体的带宽消耗和读取延时，HDFS会尽量让读取程序读取离它最近的副本。

1. Client 向 NameNode 请求下载对应的文件
2. NameNode 根据距离策略排序返回 BlockLocation （就近读取）
3. Client 向指定的 DataNode 下载数据，并校验数据完整性

Client 在读取数据，获得了 Block 的元数据信息（位置和偏移量），这时HDFS 支持 Client 给出文件的 offset 自定义连接到哪些 block 的 DataNode 上，自定义获取数据； 这个是支持计算层的分治、并行计算的核心；