HDFS读写数据流程

最新推荐文章于 2025-01-07 19:16:01 发布
原创 最新推荐文章于 2025-01-07 19:16:01 发布 · 319 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#HDFS #HDFS读数据 #HDFS写数据

本文详细解析了HDFS的数据写入与读取流程。写入流程包括客户端发起请求、NameNode分配DataNode、建立管道并传输Block。读取流程则是客户端向NameNode请求元数据，随后直接从DataNode读取数据，以Packet为单位进行校验。

HDFS写数据流程：

写

1.客户端向nd发送文件上传请求 nd检查目录文件是否存在 检查父目录是否存在

2.nd向客户端返回是否上传响应

3.客户端向nd请求 上传到那个节点(dn)

4.nd响应 dn1 dn2 dn3可以上传

5.客户端向dn1发送请求 dn1–>dn2–>dn3 建立文件传输管道

6.dn1 dn2 dn3 向客户端逐级应答

7.客户端将block文件以packet形式传输给dn1 dn1–>dn2–>dn3

dn1每传一个packet会放入一个应答队列等待应答

8.当一个block文件传输完成以后 客户端再次向nd发送请求 传输block2

HDFS读数据流程：

读

1.客户端向nd发送下载请求 nd检查元数据 查找文件所在dn

2.挑选最近的dn服务器 发送读取请求

3.dn向客户端传输数据 以packet为单位做校验

4.客户端以packet为单位接收 先在本地缓存 然后写入目标文件

HDFS读数据流程
zhangleilei_的博客
12-05 1106
（1）客户端给NameNode发起文件下载请求 （2）NameNode进行两项检查（1.检查用户是否有权限下载2.检查文件是否存在）
Hadoop HDFS 读写流程
lucklilili
08-16 380
客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。 NameNode 返回是否可以上传。 客户端请求第一个 Block 上传到哪几个 DataNode 服务器上。 NameNode 返回 3 个 DataNode 节点，分别为 dn1、dn2、dn3。 （5）客户端通过 FSDataOutputStream 模块请求 dn1 上传数据，dn1 收到请求会继续调用dn2，然后 dn2 调用 ...
hdfs读数据流程
ningchen_的博客
10-31 305
1.客户端先去namenode请求读取。 2.namenode提供block的位置。 3.客户端去相应的datenode寻找。 4.从datenode读取数据。
HDFS读写数据流程分析.ppt
09-29
HDFS读写数据流程分析 HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和管理大规模数据。在HDFS中，数据读写是通过客户端与NameNode和DataNode进行交互实现的。在这里，我们将详细分析HDFS...
HDFS读写数据流程（详细）
m0_69406980的博客
11-24 655
HDFS读写数据流程
HDFS读写流程.xmind
04-03
HDFS读写数据流程描述，脑图展示，易于理解与记忆，仅供学习使用。HDFS分布式文件系统是一个主从架构，主节点是NameNode，负责管理整个集群以及维护集群的元数据信息；从节点是DataNode，主要负责文件数据存储。
HDFS读写流程
最新发布
金州饿霸吃不饱的博客
01-07 1019
因为namenode维护管理了文件系统的元数据信息，这就造成了不管是读还是写数据都是基于NameNode开始的，也就是说NameNode成为了HDFS访问的唯一入口。。
HDFS读数据的流程
qq_41787597的博客
03-10 679
1、 Client 向 NameNode 发起 RPC 请求，来确定请求文件 block 所在的位置；2、 NameNode会视情况返回文件的部分或者全部block列表，对于每个block，NameNode 都会返回含有该 block 副本的 DataNode 地址；3、 这些返回的 DN 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距...
hdfs读写数据流程
01-06
### HDFS 数据读写过程详解 #### 1. 写入数据到 HDFS 的详细流程 当客户端应用程序向 HDFS 中写入文件时，具体操作如下： - 客户端调用 `create()` 方法创建文件并获得输出流对象。此时会联系 NameNode 来确认目标文件是否存在以及获取分配 Block ID 和 DataNodes 列表的信息[^2]。 - 获取到允许后，客户端开始分片上传数据至指定的第一个 DataNode 节点，在传输过程中还会通知其他参与存储副本的 DataNodes 形成管道结构。 - 当第一个 DataNode 接收到部分数据包之后立即将其转发给下一个节点直到最后一个节点完成接收为止；与此同时每个接收到的数据块都会被临时保存于内存缓冲区等待持久化处理。 - 所有的 DataNode 都成功写入该片段后会给客户端返回 ACK 确认消息表示这一轮复制结束可以继续发送下一部分内容直至整个文件全部传完。 ```java // 创建文件并向其中写入数据 FileSystem fs = FileSystem.get(conf); FSDataOutputStream out = fs.create(new Path("/user/test.txt")); out.writeBytes("This is test content."); out.close(); fs.close(); ``` #### 2. 从 HDFS 读取数据的过程 对于从 HDFS 文件系统中读取文件的操作而言，主要经历以下几个阶段： - 应用程序通过调用 `open()` 函数打开所需的目标文件得到输入流实例，并请求 NameNode 提供有关此文件元数据信息（比如 block 大小、block locations）以便规划最优读取策略。 - 根据所获知的位置列表按顺序连接各个拥有相应 fragment 的 DataNodes 进行实际的数据拉取工作。如果当前节点发生故障则尝试切换到备选位置重新建立链接关系来保障连续性。 - 在每次成功下载一段完整的 chunk 后即刻传递给应用层做进一步解析或展示而不必等到整份文档完全加载完毕再统一交付使用从而实现边读边用的效果提升效率。 ```java // 打开文件并从中读取数据 FileSystem fs = FileSystem.get(conf); Path filePath = new Path("/user/test.txt"); FSDataInputStream in = fs.open(filePath); byte[] buffer = new byte[1024]; int bytesRead = in.read(buffer); // 尝试读取最多1KB的数据 String data = new String(buffer, 0, bytesRead); System.out.println(data); in.close(); fs.close(); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值