3.HDFS读写流程

最新推荐文章于 2025-03-10 15:51:12 发布

敲代码的羊

最新推荐文章于 2025-03-10 15:51:12 发布

阅读量1.3k

点赞数

文章标签： hdfs hadoop big data

本文链接：https://blog.youkuaiyun.com/iyak78/article/details/122135963

版权

本文详细介绍了HDFS的读写流程，包括NameNode、DataNode的角色职责，重点解析了上传文件时的pipeline传输方式及其好处，以及下载文件和NameNode与DataNode之间的通信机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

3.HDFS读写流程

1.HDFS基础知识
 2.HDFS操作
 3.HDFS读写流程
在这里插入图片描述

3.1 工作机制–角色与角色职责

主角色:NameNode(核心) 是访问HDFS的唯一入口
维护和管理文件系统元数据（名称空间目录树结构、文件和块的位置信息、访问权限等信息）

在这里插入图片描述

从角色:DataNode
负责具体的数据块存储，它的数量决定了HDFS集群的整体数据存储能力。
主角色辅助角色:SecondaryNameNode

在这里插入图片描述

3.2工作机制–上传文件流程（写文件流程）

什么事pipeline管道（传输方式）

Pipeline管道,是HDFS在上传文件写数据过程中采用的一种数据传输方式
客户端将数据块写入第一个数据节点，第一个数据节点保存数据之后再将块复制到第二个数据节点，后者保存后将其复制到第三个数据节点

pipeline传输的好处

依次传递能充分利用每个机器的带宽，避免网络瓶颈和高延迟时的连接，最小化推送所有数据的延时，所有的数据副本能在短时间内同时完成

在这里插入图片描述

核心概念–ACK应答响应（确保数据传输安全、不丢失）
ACK (Acknowledge character）即是确认字符，在数据通信中，接收方发给发送方的一种传输类控制字符。表示发来的数据已确认接收无误
在HDFS pipeline管道传输数据的过程中，传输的反方向会进行ACK校验，确保数据传输安全
⭐️扩展知识点：机架感知，运维人员通过脚本给设备编写路径以确定彼此位置

在这里插入图片描述

举例：上传一个300MB的文件
以128MB为一块进行分割，可以分成3块（128MB、128MB、44MB）   
#1、客户端向NameNode发送数据上传请求，这个请求当中包含一个重要的信息就是文件的长度信息。300MB
过程&#x

最低0.47元/天解锁文章