分布式文件系统HDFS

分布式文件系统HDFS
一、分布式文件系统HDFS
1、产生背景
传统的本地文件系统(单机式)，在数据量增长过快、数据备份、数据安全性、操作使用便捷性上存在严重不足。
2、特点介绍
高容错和高可用性，硬件错误是常态而不是异常
HDFS设计为运行在普通硬件上，所以硬件故障是很正常的。HDFS提供文件存储副本策略，可以实现错误自检并快速自动恢复。个别硬件的损坏不影响整体数据完整性和计算任务的正常执行。
流式数据访问
HDFS主要采用流式数据读取，做批量处理而不是用户交互处理，因此HDFS更关注数据访问的高吞吐量。
弹性存储，支持大规模数据集
HDFS支持大文件存储，典型的文件在GB甚至TB级别，可以支持数以千万计的大规模数据集。根据业务需要灵活的增加或者缩减存储节点。弹性存储的最大挑战是减小在修改存储节点时的数据震荡问题。
简单一致性模型
HDFS文件实行一次性写、多次读的访问模式。设计为文件一经创建、写入和关闭之后就不需要再更改了，这种设计和假定简化了数据一致性问题，使高吞吐量成为可能。
移动计算而非移动数据
由于HDFS支持大文件存储，对于大文件来说，移动计算比移动数据的代价要低。这样也可以减少网络的拥塞和提高系统的吞吐量。
协议和接口多样性
为上层应用提供了多种接口，Http RestFul接口、NFS接口、Ftp接口等等POSIX标准协议，另外通常会有自己的专用接口。
多样的数据管理功能
对于数据压缩、数据加密、数据缓存和存储配额等提供了多样的管理功能。
3、应用场景
各大电信运营商
中大型互联网公司，如BAT、京东、乐视、美团等
金融银行保险类公司
各大云平台底层存储平台
其他本地系统无法承载存储能力的应用
二、HDFS架构设计
1、HDFS是什么
HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。
由论文为GFS（Google File System）Google 文件系统启发，是Google GFS的开源Java实现。
2、HDFS组件角色
2.1 NameNode(简称NN)
HDFS元数据管理者，管理NameSpace(文件系统命名空间)，记录文件是如何分割成数据块以及他们分别存储在集群中的哪些数据节点上。
NameSpace或其本身属性的任何更改都由NameNode记录，维护整个文件系统的文件和目录。
2.2 DataNode(简称DN)
DataNode是文件系统的工作节点。根据客户端或者NameNode发送的管理指令，负责HDFS的数据块的读写和检索操作。
通过心跳机制定期向NameNode发送他们的存储块的列表。
2.3 Client
客户端Client代表用户与NameNode或者DataNode交互来访问整个文件系统的对象。
开发人员面向Client API来编程实现，对NameNode、DataNode来说透明无感。

3、HDFS架构设计
3.1基本架构

HDFS是一个主从式(Master/Slave)的体系结构。HDFS集群中有一个NameNode和一些DataNodes，
NameNode管理文件的元数据，DataNode存储实际的数据。从用户的角度看，就像操作传统的文件系统一样，可以通过目录路径对文件执行创建、读取、删除操作。客户端联系NameNode来获取元数据信息，而真正的文件I/O是直接和DataNode进行交互的。

3.2读文件流程
22

详细步骤：
第一步：Client向NameNode发送数据请求后，寻找数据对应的数据块的位置信息。
第二步：NameNode返回文件对应的数据块元数据信息，如所属机器、数据块的block_id、数据块的先后顺序等。
第三步：由Client与DataNode直接通信，读取各个block数据块的信息。过程为并行读取，由客户端合并数据。
3.3写文件流程

详细步骤：
第一步：
Client向NameNode发送写数据请求后，寻找可以写入的数据块block信息的机器位置。
若文件过大，写入可能会分成很多block数据块，实际上是通过一个block一个block的申请。