Hadoop-hdfs入门-01

概述：

hdfs:Hadoop Distributed  File System(hadoop分布式文件系统)

和其他文件系统最大的区别，更好的支持分布式计算。

目录

1、hdfs的存储模型：

2、架构设计

3、角色功能

3.1、NameNode

3.2、DataNode

4、元数据持久化

5、安全模式

6、Block副本放置策略

7、读写流程

7.1 写流程

7.2 读流程

8、安全策略

9、注意事项

---

1、hdfs的存储模型：

1）、文件线性按 字节 切割成块（block）存储，具有offset和唯一标识id

2）、不同文件的block大小可以不一样

3）、一个文件的除了最后一个block，其他的block大小一致

4）、block的大小根据硬件的I/O特性【一般指网络带宽】做对应的调整

5）、block分散存储在不同的集群节点上，具有location

6）、Block具有副本（replication）,hdfs中，block没有主从概念，副本不能同时出现在一个节点上（当前节点挂了，副本就失去了副本的意义）

7）、副本是满足可靠性和性能的关键

8）、文件上传可以指定block大小和副本数，上传后只能修改副本数量，不能修改内容，因为一旦修改某个block，排在其后的block的偏移量都将发生改变，会造成大量的数据拷贝工作，大量的消耗服务器资源。

9）、文件一次写入多次读取，不支持修改，可以删除【注意：删除的是文件，block是不支持删除】

10）、支持追加数据【注意：追加在文件后面，或者是最后说最后一个block后面】

2、架构设计

1）、HDFS是一个主从（Master/Slaver）架构

2）、由一个NameNode和多个DataNode组成

3）、面向文件设计：包含文件元数据meatdata  和文件数据data

4）、NameNode负责存储和管理文件的元数据【offset、locations、id、replications】，并维护了一个层次分明的文件目录树

5）、DataNode负责存储文件的数据块(即Block)，并提供block块的读写

6）、DataNode与NameNode维持心跳，并汇报自己持有的block信息

7）、Client和NameNode交互文件元数据，Client和DataNode交互文件Block数据 【Client是病人、NameNode是挂号处、DataNode是具体科室】

3、角色功能

3.1、NameNode

1）、完全基于内存存储文件元数据、目录结构、文件Block的映射

2）、需要持久化方案保证数据可靠性

3）、提供 副本 放置策略

3.2、DataNode

1）、基于本地磁盘存储Block

2）、保存了block的校验【加密串】和数据，保证block的可靠性

3）、与NameNode保持心跳，汇报block列表状态

 

4、元数据持久化

1）、任何对【文件系统】元数据产生修改的操作，NameNode都会使用一种称为EditLog的事务日志记录下来

2）、使用FsImage存储内存所有的元数据状态

3）、使用本地磁盘保存EditLog和FsImage

4）、EditLog具有完整性，数据丢失少，但恢复速度慢，并有体积膨胀风险

5）、FsImage具有恢复速度快，体积与内存数据相当，但不能实时保存，数据丢失多

6）、NameNode使用了FsImage+EditLog整合的方案：滚动将增量的EditLog更新到FsImage，以保证更近时点的FsImage和更小的EditLog体积

 

5、安全模式

1）、HDFS在搭建的时候会触发格式化，格式化操作会产生一个空的FsImage

2）、当NameNode启动的时候，会从磁盘中读取EditLog和FsImage

3）、将所有EditLog中的事务作用在内存中的FsImage上，并将这个新版本的FsImage从内存保存到本地磁盘上

4）、然后删除旧的EditLog，因为这个旧的EditLog的事务都已经刷到FsImage上了

5）、NameNode启动后会进入一个称为安全模式的特殊状态

6）、处于安全模式的NameNode是不会进行数据块的复制的

7）、NameNode从所有的DataNode接收心跳信号和块状态报告。

8）、每当NameNode检测确认某个数据块的副本数目达到这个最小值，那么该数据块就会被认为是副本安全（safely replicated）的

9）、在一定百分比（这个参数可配置）的数据块被NameNode检测确认是安全之后（加上一个额外的30秒等待时间），NameNode将退出安全模式状态

10）、接下来它会确定还有那些数据块的副本没有达到指定数目，并将这些数据块复制到其他DataNode上

 

6、Block副本放置策略

1）、第一份副本：放置在上传文件的DataNode【即本机】; 如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。

2）、第二份副本：放置在第一个副本不同的机架节点上

3）、第三份副本：与第二个副本相同的机架节点

更多副本：随机节点

 

7、读写流程

7.1 写流程

重点：触发副本放置策略、Pipeline传输

1）、Client与NameNode连接创建文件元数据

2）、NameNode校验元数据是否有效（是否有权限、是否已创建等等）

3）、NameNode触发副本放置策略，返回一个有序【由近到远】的DataNode列表

4）、Client和DataNode建立Pipeline连接

5）、Client将Block切成packet(64KB)、并使用chunk（512B）+ chunksum(4B)填充

6）、Client将packet放入发送队列dataqueue中，并向最近的DataNode发送

7）、第一个DataNode收到packet后，先保存本地，再发给第二个DataNode

8）、第二个DataNode收到packet后，先保存本地，再发给第三个DataNode

9）、这个过程中上游节点发送一个packet，多个DataNode之间其实是并行传输，资源得到了充分使用

10）、HDFS使用这种传输方式，副本数对于Client是透明的

11）、当Block传输完成后，DataNode会向NameNode汇报，同时client传输下一个block，所以其实client的传输和Block的汇报也是并行的。

7.2 读流程

1）、为了降低整体的带宽消耗和读取延时，HDFS会尽量让读取程序选择距离它最近的副本读取

2）、如果在读取过程中发现某个副本就在本机或本机架，采用就近原则

3）、如果一个HDFS集群跨域多个数据中心，那么客户端也将首先读取本地中心的副本

4）、读取文件时，首先客户端会像NameNode查询目标文件所有的block位置信息，NameNode会返回一个有序【距离由近到远】的列表

5）、拿到所以的blockLocations以后，客户端可以按照自己的需要下载所以需要的block，也可以下载全部。总之【按需下载】

8、安全策略

 

9、注意事项

9.1、NameNode在持久化的时候，文件属性会持久化，但是文件在那个块存储这个信息【即locations】不会被持久化，这样在恢复的时候，块的位置信息就会丢失。为什么会这么做呢？因为一旦持久化，万一某个DataNode起不来了，持久化的location就错误了。那这个信息怎么补回来呢，安全模式的时候，又DataNode通过心跳机制汇报给NameNode.