hdfs写入数据的流程

最新推荐文章于 2025-05-26 11:11:09 发布
原创 最新推荐文章于 2025-05-26 11:11:09 发布 · 3.1k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细介绍了HDFS中数据写入的过程，包括客户端通过DistributedFileSystem调用create()创建文件，数据包的分解与存储，DataNode间的复制与确认，以及故障处理机制。还探讨了副本布局策略，旨在确保数据的可靠性和性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1、客户端通过调用distributedFileSystem调用ceate()方法创建文件

2、distributedFileSystem对namenode创建一个PPC调用，去检查是否有这个文件，以及这个文件的权限，如果有这个文件，会返回IOException,如果没有就去创建这个文件。之后distributedFileSystem会返回给客户端DFSOutputStream对象，这个对象负责处理DataNode和namenode之间的通信。

3、客户端写入数据时，DFSOutputStream将这个数据分解成一个个的数据包，并写入内存数据队列中，称为“数据队列”

4、datastreamer来处理数据，是根据DataNode的大小来要求namenode分配DataNode适合的新内存来存储这些数据副本。首先将数据队列存储在第一DataNode中，之后一次存储在第二个DataNode中，然后再存储在第三个DataNode中。

5、等到DataNode存储完成之后，fileoutputstream等待DataNode去返回回执结果。等到DataNode将所有的结果都返回之后，该数据包才会从这个数据队列中删除。

6、客户端完成数据的写入后，调用close方法，该操作将所有的包写入DataNode管线。

7、distributedFileSystem等待确认信号，namenode已经知道文件由哪些块组成，所以他在返回前只需要等待数据块进行最小量的复制。

  1. 客户端通过在DistributedFileSystem中调用create()来创建文件。
  2. DistributedFileSystem 使用RPC去调用namenode，在文件系统的命名空间创一个新的文件，没有块与之相联系。namenode执行各种不同的检查以确保这个文件不会已经存在，并且在client有可以创建文件的适当的许可。如果检查通过，na
最低0.47元/天 解锁文章

200万优质内容无限畅学
HDFS 数据写入,读取流程
liu_changshen的博客
11-04 444
数据写入流程图示： 1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否 存在，返回是否可以上传； 2、 client请求第一个block该传输到哪些DataNode服务器上； 3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如： A，B，C； 4、 client...
HDFS写数据流程
zhangleilei_的博客
12-05 1655
（1）客户端向NameNode发出写文件请求（2）NameNode检查是否已存在文件、检查权限，Namenode应答可以上传。
HDFS写入数据流程
最新发布
jiedaodezhuti的博客
05-26 663
‌ DataNode列表获取‌:客户端向NameNode请求当前块的存储节点，NameNode基于机架感知策略（优先同机架节点）和负载均衡返回3个DataNode地址；‌ ACK确认机制‌:每个Packet传输完成后，DataNode通过反向管道返回ACK确认，客户端将Packet移入ackQueue；‌ 传输管道构建‌:客户端与第一个DataNode建立连接，后续节点通过逐级调用形成传输链（如dn1→dn2→dn3），完成后逐级返回应答确认管道就绪；
文件写入HDFS的整个流程
雨落千木的时节
12-14 1653
假设HDFS客户端为node11，用户A想要将文件apache.log写到HDFS上，该文件大小为100MB，假设用户配置的文件block大小为64MB，请结合你的理解，描述该文件写入HDFS的整个流程（请用步骤1，步骤2,……，描述） 使用HDFS提供的客户端(client)，向远程的namenode发起RPC请求；namenode会检查要创建的文件apache.log是否已经存在，创
HDFS写入流程
gaotz123的博客
03-07 1457
如果收到成功的ACK，ResponseProcessor线程会将确认队列ackQueue中删除对应的package，如果写入失败，会将ackQueue里的package置入 data Queue重传。3.客户端会调用输出流对象的write()方法，这个方法会通过RPC的方式调NameNode是我addBlock()方法。1.hdfs Client 客户端调用DistributedFileSystem的creat()方法，这个方法会通过RPC远程过程调用的方式，调用NameNode的creat()方法。
HDFS的写入过程
散步的博客
03-01 280
Client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已经存在，父目录是否存在，返回是否可以上传。 Client请求第一个block该传输到哪些DataNode服务器上 NameNode根据配置文件中指定的备份数量以及机架感知原理进行文件分配，返回可用的DataNode的地址，如：A,B,C hadoop 在设计时考虑到数据的安全与高效...
HDFS读写数据流程分析.ppt
09-29
HDFS读写数据流程分析 HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和管理大...例如，在大数据处理中，HDFS可以用于存储和管理大量数据，而HDFS读写数据流程可以用于高效地读取和写入数据。
HDFS读写数据流程（详细）
m0_69406980的博客
11-24 626
HDFS读写数据流程
HDFS读写数据流程
weixin_45140946的博客
01-30 449
HDFS读写数据流程
HDFS读写流程
金州饿霸吃不饱的博客
01-07 901
因为namenode维护管理了文件系统的元数据信息，这就造成了不管是读还是写数据都是基于NameNode开始的，也就是说NameNode成为了HDFS访问的唯一入口。。
HDFS的读写数据流程
LuciferLonelines的博客
11-15 515
HDFS读写数据的流程
HDFS的读写入流程
weixin_44803883的博客
06-16 1017
2. Namenode接受到客户端的请求后,会先判断该客户是否有写入的权限,没有则直接报错,有则继续判断该文件是否存在,没有则直接报错,有则返回给客户端,该文件的部分或者所有的block块的地址,这些地址都是活跃的。2. Namenode接受客户端的请求后,会先判断该客户端是否有写入的权限,如果没有直接报错,如果有权限,则会判断该文件的父目录是否存在,如果不存在,直接报错,如果存在,则告知客户端可以上传。5. 按照block的信息(编号等),将这些block块组合成一个完整文件,至此HDFS读数据完成。
HDFS数据写入流程详解
amingo_ss的博客
04-29 7893
hadoop数据写入流程详解 hadoop数据写入流程是hdfs理论框架的基础，完全理解hadoop的数据写入流程是每一个大数据从业人员的必备技能。 下面以300m文件写入hadoop2.x为例，详细讲解hadoop数据写入的详细过程。 主要包括： 1.数据写入流程图 2.数据写入相关组件 3.数据写入组件通信协议 4.hdfs通信协议 1.数据写入流程图： 数据写入过程详解： （1）客户端发送...
HDFS的文件写入和文件读取流程
qq_57629191的博客
05-28 3164
Pipeline管道：Pipeline，即管道。这是 HDFS 在上传⽂件写数据过程时采⽤的⼀种数据传输⽅式。客户端将数据块写⼊第⼀个数据节点，第⼀个数据节点保存数据之后再将块复制到第⼆个数据节点，后者保存后将其复制到第三个数据节点。通俗描述 pipeline 的过程就是：Client——>DN1——>DN2—>DN3为什么 datanode 之间采⽤ pipeline 线性传输，⽽不是⼀次给三个 datanode 拓扑式传输呢？
HDFS写入过程
weixin_34116110的博客
03-18 167
为什么80%的码农都做不了架构师？>>> ...
hdfs写入流程
epitomizelu的专栏
05-22 459
参考文献：https://blog.youkuaiyun.com/b6ecl1k7BS8O/article/details/88386764
hdfs读写数据流程
01-06
### HDFS 数据读写过程详解 #### 1. 写入数据到 HDFS 的详细流程 当客户端应用程序向 HDFS 中写入文件时，具体操作如下： - 客户端调用 `create()` 方法创建文件并获得输出流对象。此时会联系 NameNode 来确认目标文件是否存在以及获取分配 Block ID 和 DataNodes 列表的信息[^2]。 - 获取到允许后，客户端开始分片上传数据至指定的第一个 DataNode 节点，在传输过程中还会通知其他参与存储副本的 DataNodes 形成管道结构。 - 当第一个 DataNode 接收到部分数据包之后立即将其转发给下一个节点直到最后一个节点完成接收为止；与此同时每个接收到的数据块都会被临时保存于内存缓冲区等待持久化处理。 - 所有的 DataNode 都成功写入该片段后会给客户端返回 ACK 确认消息表示这一轮复制结束可以继续发送下一部分内容直至整个文件全部传完。 ```java // 创建文件并向其中写入数据 FileSystem fs = FileSystem.get(conf); FSDataOutputStream out = fs.create(new Path("/user/test.txt")); out.writeBytes("This is test content."); out.close(); fs.close(); ``` #### 2. 从 HDFS 读取数据的过程 对于从 HDFS 文件系统中读取文件的操作而言，主要经历以下几个阶段： - 应用程序通过调用 `open()` 函数打开所需的目标文件得到输入流实例，并请求 NameNode 提供有关此文件元数据信息（比如 block 大小、block locations）以便规划最优读取策略。 - 根据所获知的位置列表按顺序连接各个拥有相应 fragment 的 DataNodes 进行实际的数据拉取工作。如果当前节点发生故障则尝试切换到备选位置重新建立链接关系来保障连续性。 - 在每次成功下载一段完整的 chunk 后即刻传递给应用层做进一步解析或展示而不必等到整份文档完全加载完毕再统一交付使用从而实现边读边用的效果提升效率。 ```java // 打开文件并从中读取数据 FileSystem fs = FileSystem.get(conf); Path filePath = new Path("/user/test.txt"); FSDataInputStream in = fs.open(filePath); byte[] buffer = new byte[1024]; int bytesRead = in.read(buffer); // 尝试读取最多1KB的数据 String data = new String(buffer, 0, bytesRead); System.out.println(data); in.close(); fs.close(); ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值