HDFS的读文件、写文件过程

最新推荐文章于 2025-05-12 11:16:31 发布

taoKingRead

最新推荐文章于 2025-05-12 11:16:31 发布

阅读量1.2k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据学习文章标签：大数据 hadoop 分布式数据挖掘 hdfs

本文链接：https://blog.youkuaiyun.com/iqdutao/article/details/109034663

HDFS的重要特性

HDFS是一个分布式文件系统，通过统一的命名空间(类似于本地文件系统的目录树)，用于存储和管理文件。服务器集群中各个节点都有自己的角色和职责，具有以下特点：

1. HDFS中的文件在物理上是分块存储(block)，块的大小可以通过配置参数(dfs.blocksize)来规定，默认大小在hadoop2.x版本中是128M，之前的版本中是64M。

2. HDFS文件系统会给客户端提供一个统一的抽象目录树，客户端通过路径来访问文件。

3. 目录结构及文件分块位置信息(元数据)的管理由namenode节点承担，namenode是HDFS集群主节点，负责维护整个hdfs文件系统的目录树，以及每一个路径(文件)所对应的数据块信息(block id及所在的datanode服务器)。

4. 文件的各个block的存储管理由datanode节点承担，datanode是HDFS集群从节点，每一个block都可以在多个datanode上存储多个副本(副本数量也可以通过参数设置dfs.replication，默认是3)。

5. Datanode会定期向Namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量，HDFS的内部工作机制对客户端保持透明，客户端请求访问HDFS都是通过向namenode申请来进行。

6. HDFS是设计成适应一次写入，多次读出的场景，且不支持文件的修改。需要频繁的RPC交互，写入性能不好。

HDFS写数据分析

客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本。

1. 客户端向namenode发送上传文件请求，namenode对要上传目录和文件进行检查，判断是否可以上传，并向客户端返回检查结果。

2. 客户端得到上传文件的允许后读取客户端配置，如果没有指定配置则会读取默认配置(例如副本数和块大小默认为3和128M，副本是由客户端决定的)。向namenode请求上传一个数据块。

3. namenode会根据客户端的配置来查询datanode信息，如果使用默认配置，那么最终结果会返回同一个机架的两个datanode和另一个机架的datanode。这称为“机架感知”策略。

机架感知：HDFS采用一种称为机架感知(rack-aware)的策略来改进数据的可靠性、可用性和网络带宽的利用率。大型HDFS实例一般运行在跨越多个机架的计算机组成的集群上，不同机架上的两台机器之间的通讯需要经过交换机。

在大多数情况下，同一个机架内的两台机器间的带宽会比不同机架的两台机器间的带宽大。通过一个机架感知的过程，Namenode可以确定每个Datanode所属的机架id。一个简单但没有优化的策略就是将副本存放在不同的机架上。这样可以有效防止当整个机架失效时数据的丢失，并且允许读数据的时候充分利用多个机架的带宽。这种策略设置可以将副本均匀分布在集群中，有利于当组件失效情况下的负载均衡。

但是，因为这种策略的一个写操作需要传输数据块到多个机架，这增加了写的代价。在大多数情况下，副本系数是3，HDFS的存放策略是将一个副本存放在本地机架的