HDFS学习总结

HDFS

一 HDFS概述

1.1 HDFS产生背景

随着数据量越来越大，在一个操作系统管辖的范围内存不下了，那么就分配到更多的操作系统管理的磁盘中，但是不方便管理和维护，迫切需要一种系统来管理多台机器上的文件，这就是分布式文件管理系统。HDFS只是分布式文件管理系统中的一种。

1.2 HDFS概念

- HDFS，它是一个文件系统，用于存储文件，通过目录树来定位文件；其次，它是分布式的，由很多服务器联合起来实现其功能，集群中的服务器有各自的角色。
- HDFS的设计适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。

1.3 HDFS优缺点

1.3.1 优点
- 1）高容错性
  - （1）数据自动保存多个副本。它通过增加副本的形式，提高容错性。
  - （2）某一个副本丢失以后，它可以自动恢复。
- 2）适合大数据处理
  -  （1）数据规模：能够处理数据规模达到 GB、TB、甚至PB级别的数据。
  -  （2）文件规模：能够处理百万规模以上的文件数量，数量相当之大。
- 3）流式数据访问，它能保证数据的一致性。
- 4）可构建在廉价机器上，通过多副本机制，提高可靠性。

• 1.3.2 缺点

- 1）不适合低延时数据访问，比如毫秒级的存储数据，是做不到的。
- 2）无法高效的对大量小文件进行存储
  - （1）存储大量小文件的话，它会占用 NameNode大量的内存来存储文件、目录和块信息。这样是不可取的，因为NameNode的内存总是有限的。
  - （2）小文件存储的寻道时间会超过读取时间，它违反了HDFS的设计目标。
- 3）并发写入、文件随机修改
  - （1）一个文件只能有一个写，不允许多个线程同时写。
  - （2）仅支持数据 append（追加），不支持文件的随机修改。

1.4 HDFS组成架构

• 1）Client：就是客户端。

- （1）文件切分。文件上传 HDFS 的时候，Client 将文件切分成一个一个的Block，然后进行存储。
- （2）与NameNode交互，获取文件的位置信息。
- （3）与DataNode交互，读取或者写入数据。
- （4）Client提供一些命令来管理HDFS，比如启动或者关闭HDFS。
- （5）Client可以通过一些命令来访问HDFS。

• 2）NameNode：就是Master，它是一个主管、管理者。

- （1）管理HDFS的名称空间。
- （2）管理数据块（Block）映射信息
- （3）配置副本策略
- （4）处理客户端读写请求。

• 3）DataNode：就是Slave，NameNode下达命令，DataNode执行实际的操作。

- （1）存储实际的数据块。
- （2）执行数据块的读/写操作。

• 4）Secondary NameNode：并非NameNode的热备。当NameNode挂掉的时候，它并不能马上替换NameNode并提供服务。

- （1）辅助NameNode，分担其工作量。
- （2）定期合并Fsimage和Edits，并推送给NameNode。
- （3）在紧急情况下，可辅助恢复NameNode。

1.5 HDFS 文件块大小

	HDFS中的文件在物理上是分块存储（block），块的大小可以通过配置参数( dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，老版本中是64M。

	HDFS的块比磁盘的块大，其目的是为了最小化寻址开销。如果块设置得足够大，从磁盘传输数据的时间会明显大于定位这个块开始位置所需的时间。因而，传输一个由多个块组成的文件的时间取决于磁盘传输速率。

	如果寻址时间约为10ms，而传输速率为100MB/s，为了使寻址时间仅占传输时间的1%，我们要将块大小设置约为100MB。默认的块大小128MB。

	块的大小：10ms*100*100M/s = 100M

二 HDFS的数据流

2.1 HDFS写数据流程

• 2.1.1 剖析文件写入

1）客户端通过Distributed FileSystem模块向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。
2）namenode返回是否可以上传。
3）客户端请求第一个 block上传到哪几个datanode服务器上。
4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。
5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。
6）dn1、dn2、dn3逐级应答客户端。
7）客户端开始往dn1上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位，dn1收到一个packet就会传给dn2，dn2传给dn3；dn1每传一个packet会放入一个应答队列等待应答。
8）当一个block传输完成之后，客户端再次请求namenode上传第二个block的服务器。（重复执行3-7步）。  

• 2.1.3 机架感知（副本节点选择）

- 1）官方ip地址：
  - http://hadoop.apache.org/docs/r2.7.3/hadoop-project-dist/hadoop-common/RackAwareness.html
  - http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html#Data_Replication
- 2）低版本Hadoop复本节点选择
  - 低版本机架感知.png
  - 第一个复本在client所处的节点上。如果客户端在集群外，随机选一个。
  - 第二个复本和第一个复本位于不相同机架的随机节点上。
  - 第三个复本和第二个复本位于相同机架，节点随机。
- 3）Hadoop2.7.2副本节点选择
  - 2.7.2版本机架感知.png
  - 第一个副本在client所处的节点上。如果客户端在集群外，随机选一个。
  - 第二个副本和第一个副本位于相同机架，随机节点。
  - 第三个副本位于不同机架，随机节点。

2.2 HDFS读数据流程

1）客户端通过Distributed FileSystem向namenode请求下载文件，namenode通过查询元数据，找到文件块所在的datanode地址。
2）挑选一台datanode（就近原则，然后随机）服务器，请求读取数据。
3）datanode开始传输数据给客户端（从磁盘里面读取数据输入流，以packet为单位来做校验）。
4）客户端以packet为单位接收，先在本地缓存，然后写入目标文件。
- 1）HDFS的读数据流程.pptx
- 2）HDFS如何控制客户端读取哪个副本节点数据
  - HDFS满足客户端访问副本数据的最近原则。即客户端距离哪个副本数据最近，HDFS就让哪个节点把数据给客户端。

三 NameNode和SecondaryNameNode

3.1 NN&2NN工作机制

• 1）第一阶段：namenode启动

1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。
2）客户端对元数据进行增删改的请求
3）namenode记录操作日志，更新滚动日志。
4）namenode在内存中对数据进行增删改

• 2）第二阶段：Secondary NameNode工作

1）Secondary NameNode询问namenode是否需要checkpoint。直接带回namenode是否检查结果。  
2）Secondary NameNode请求执行checkpoint
3）namenode滚动正在写的edits日志
4）将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode  
5）Secondary NameNode加载编辑日志和镜像文件到内存，并合并。
6）生成新的镜像文件fsimage.chkpoint
7）拷贝fsimage.chkpoint到namenode
8）namenode将fsimage.chkpoint重新命名成fsimage  

3.2 Fsimage和Edits解析

namenode被格式化之后，将在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current目录中产生如下文件
fsimage_0000000000000000000
fsimage_0000000000000000000.md5
seen_txid
VERSION
- （1）Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件idnode的序列化信息。 
- （2）Edits文件：存放HDFS文件系统的所有更新操作的路径，文件系统客户端执行的所有写操作首先会被记录到edits文件中。 
- （3）seen_txid文件保存的是一个数字，就是最后一个edits_的数字
- （4）每次Namenode启动的时候都会将fsimage文件读入内存，并从00001开始到seen_txid中记录的数字依次执行每个edits里面的更新操作，保证内存中的元数据信息是最新的、同步的，可以看成Namenode启动的时候就将fsimage和edits文件进行了合并。

3.3 chkpoint时间设置

（1）通常情况下，SecondaryNameNode每隔一小时执行一次。
（2）一分钟检查一次操作次数，当操作次数达到1百万时，SecondaryNameNode执行一次。

3.4 集群安全模式

- 1）概述
  Namenode启动时，首先将映像文件（fsimage）载入内存，并执行编辑日志（edits）中的各项操作。一旦在内存中成功建立文件系统元数据的映像，则创建一个新的fsimage文件和一个空的编辑日志。此时，namenode开始监听datanode请求。但是此刻，namenode运行在安全模式，即namenode的文件系统对于客户端来说是只读的。
  		系统中的数据块的位置并不是由namenode维护的，而是以块列表的形式存储在datanode中。在系统的正常操作期间，namenode会在内存中保留所有块位置的映射信息。在安全模式下，各个datanode会向namenode发送最新的块列表信息，namenode了解到足够多的块位置信息之后，即可高效运行文件系统。
  		如果满足“最小复本条件”，namenode会在30秒钟之后就退出安全模式。所谓的最小复本条件指的是在整个文件系统中99.9%的块满足最小复本级别（默认值：dfs.replication.min=1）。在启动一个刚刚格式化的HDFS集群时，因为系统中还没有任何块，所以namenode不会进入安全模式。

四 DataNode

4.1 DataNode工作机制

1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。
2）DataNode启动后向namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息。
3）心跳是每3秒一次，心跳返回结果带有namenode给该datanode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个datanode的心跳，则认为该节点不可用。
4）集群运行中可以安全加入和退出一些机器

4.2 数据完整性

1）当DataNode读取block的时候，它会计算checksum。
2）如果计算后的checksum，与block创建时值不一样，说明block已经损坏。
3）client读取其他DataNode上的block。
4）datanode在其文件创建后周期验证checksum。

4.3 掉线时限参数设置

五 HDFS 2.X新特性

5.1 集群间数据拷贝

1）scp实现两个远程主机之间的文件复制
scp –r hello.txt root@hadoop103:/user/atguigu/hello.txt		// 推 push
  	scp –r root@hadoop103:/user/atguigu/hello.txt  hello.txt		// 拉 pull
  	scp –r root@hadoop103:/user/atguigu/hello.txt root@hadoop104:/user/atguigu   //是通过本地主机中转实现两个远程主机的文件复制；如果在两个远程主机之间ssh没有配置的情况下可以使用该方式。

5.2 Hadoop存档

- 1）hdfs存储小文件弊端
  每个文件均按块存储，每个块的元数据存储在namenode的内存中，因此hadoop存储小文件会非常低效。因为大量的小文件会耗尽namenode中的大部分内存。但注意，存储小文件所需要的磁盘容量和存储这些文件原始内容所需要的磁盘空间相比也不会增多。例如，一个1MB的文件以大小为128MB的块存储，使用的是1MB的磁盘空间，而不是128MB。
- 2）解决存储小文件办法之一
  Hadoop存档文件或HAR文件，是一个更高效的文件存档工具，它将文件存入HDFS块，在减少namenode内存使用的同时，允许对文件进行透明的访问。具体说来，Hadoop存档文件对内还是一个一个独立文件，对namenode而言却是一个整体，减少了namenode的内存。