HDFS分布式文件系统简介

分布式文件系统：

   分布式文件系统管理的屋里存储资源不一定直接在本地节点上，而是通过计算机网络与节点相连。

   分布式文件系统的基于客户机/服务器模式。通常，一个分布式文件系统提供多个供公户访问的服务器。

   分布式文件系统一般都会提供备份和容错功能。

   分布式文件系统一般都基于操作系统的本地文件系统

 

分布式文件系统的优点：

   -传统 文件系统最大问题是容量和吞吐量的限制。

   -多用户多应用的并行读写是分布式文件系统产生的根源。

   -扩充存储空间的成本低廉

   -可提供冗余备份

   -可以为分布式计算提供基础

 

HDFS是一个使用java实现的，分布式的，可横向扩展的文件系统。

       HDFS= Hadoop Distributed File System

       是hadoop的核心组件

       基于linux

HDFS设计目标：

     -基于廉价的普通硬件，可以容忍硬件出错

系统中的某一台或几台服务器出现故障的时候，系统仍可用且数据保持完整。

     -大数据集（大文件）

      HDFS适合存储大量文件总存储量可以达到PB,EB级

      HDFS适合存储大文件，单个文件大小一般在百MB级之上

      文件数目适中

     -简单的一致性模型

      HDFS应用程序需要一次写入，多次读取一个文件的访问模式

      支持追加操作，但无法更改已写入数据

     -顺序的数据流访问

       HDFS适合用于处理批量数据，而不适合用于随机定位访问

     -侧重高吞吐量的数据访问，可以容忍数据访问的高延迟

      为 把“计算”移动到“数据”提供基础和便利。

HDFS基本概念：

     -块

     -元数据

     -namenode

     -datanode

     -客户端

块（block）的概念

     -在传统的块存储介质中，块是读写的最先数据单位（扇区）

     -传统文件系统基于存储块进行操作

     -HDFS也使用了块的概念，但是默认大小设为64M字节

     -HDFS将一个文件分为一个或数个块来存储

     -与传统文件系统不同的是，如果实际数据没有达到块大小，则并不实际占用磁盘空间

使用块的优点：

    -当一个文件大于进群中的任意一个磁盘的时候，文件系统可以充分利用集群中的所有的磁盘

    -管理块是底层的存储子系统相对简单

    -块更加适合备份，从而为容错和高可用性的实现带来方便

HDFS的元数据（数据信息）：

    -元数据包括

      1，文件系统和目录树信息

      2，文件和块的对应关系

      3，块的存放位置

    -HDFS对元数据和实际数据采取 分别存储的方法

      1，元数据存储在一台指定的服务器上（namenode）

      2，实际数据存储在集群的其他机器的本地文件系统中（DataNode）

块的冗余备份：

    -每个块在集群上回存储多分（replica）

     1，默认复制分数为3

     2，可针对每个文件配置，

     3，可针对每个文件配置，由客户端指定

     4，可动态修改

    -某个块的所有备份都是同一个ID

    -系统可以根据机架的配置自动分配备份位置

    1，第一份在集群的某个几家的某台机器上

    2，其他两份在另外的一个几家的两台机器上

    3，机架信息需要手工配置

 

NameNode：

    -namenode是用来管理文件系统命名空间的组件

    -一个HDFS集群只有一台Namenode

    -namenode上存放了HDFS的元数据

    -元数据保存在namenode的内存当中，以便快速查询

      1,1G内存大致可以存放1000000个块对应的元数据信息

      2，按缺省每块64M计算，大致对应64T实际数据

DataNode：

     -块的实际数据存放在DataNode上

     -每个块会在本地产生两个文件，一个是实际的数据文件，另一个是块的附加信息文件，其中还包括数据的校验和生成时间。

     -DataNode通过心跳包（heartbeat）与 namenode通讯

     -客户端读取/写入数据的时候直接与DataNode通信

元数据的持久化：

     -namenode里使用两个非常重要的本地文件来保存元数据信息：

     1，fsimage：保存了文件系统目录树信息，保存了文件和块的对应关系

     2，edits：保存文件系统的更改记录，客户端对文件进行写操作时，操作首先记入edits，成功后才会更改内存中的数据，并不会立刻更改硬盘上的fsimage

    -块的位置信息并不做持久化

元数据的载入和更新：

    -namenode启动时：

1，通过fsimage读取元数据，载入内存

    2，执行edits中的记录，在内存中生成最新的元数据

    3，清空edits，保存最新的元数据到fsimage

    4，收集DataNode汇报的块的位置信息

    -namenode运行时：

1，对文件创建和写操作记录到edits

    2，更新内存中的元数据

    3，收集DataNode汇报块的创建和复制信息

 

HDFS创建文件流程：

    -客户端：1，客户端请求namenode在命名空间中建立新的文件元信息

             2，如果不能创建文件则namenode会返回失败

             3，如创建成功，客户端得到此文件的 写保护锁

    -namenode：

     1，namonode检查集群和文件状态

     2，创建写保护锁保证只有一个客户端在操作该文件

     3，建立该文件的元信息

     4，把创建文件这个事件加入edits

     5，位该文件分配块，以及块的冗余备份位置

 

HDFS写操作流程（重点）：

     -客户端个文件并不是直接写到HDFS上

     -HDFS客户端接收用户数据，并把内容缓存到本地

     -当本地缓存收集足够一个HDFS块大小的时候，客户端同namenode通讯注册一个新的块

     -注册块成功后，namenode会给客户端返回一个DataNode的列表（块的位置，冗余备份）

     -客户端向列表第一个DataNode写入块

     -收到DataNode的确认信息后，客户端删除本地缓存

     -客户端继续 发送下一个块，重复以上步骤

     -当所有数据发送完成后，写操作完成

 

HDFS的读操作流程：

     -客户端与namenode通讯获取文件的块位置信息，其中包括了块的所有冗余备份的位置信息，DataNode的列表

     -客户端回去文件位置信息后直接同有文件块的DataNode通讯，读取文件

     -如果第一个DataNode无法连接，客户端将自动联系下一个DataNode

     -如果块数据的校验值出错，则客户端需要向namenode报告，并自动联系下一个DataNode

HDFS追加写（append）的操作流程：

     -客户端与namenode通讯，获得文件的写保护锁及文件最后一个块的位置（DataNode）

     -客户端挑选一个DataNode作为主写入点，并对其余节点上的该数据块加锁。

     -开始写入数据：与普通写入流程类似，依次更新各个DataNode数据

     -最后一个块写满，并且所有备份块后写入完成后，向namenode申请下一个数据块

secondary namenode：

     -secondary namenode不是备份节点

     -secondary namenode的主要工作是阶段性的合并fsimage和edits文件，以此来控制edits的文件大小在合理的范围（缩短重启时namenode重建fsimage时间，做数据恢复，但不是全部）

     -secondary namenode运行在不同于namenode的主机上，内存需求和namenode一样。