HDFS写数据流程

HDFS数据写入流程详解

最新推荐文章于 2025-12-10 10:28:22 发布

原创最新推荐文章于 2025-12-10 10:28:22 发布 · 146 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs #hadoop #big data

大数据导论作业专栏收录该内容

6 篇文章

订阅专栏

本文详细介绍了HDFS（Hadoop Distributed File System）中数据写入的过程，从客户端发起请求到NameNode，再到DataNode的pipeline建立和数据上传，揭示了HDFS的内部工作机制和数据冗余策略。

HDFS写数据流程

首先客户端向NameNode发送请求
NameNode收到请求并检查目录（检查文件所在路径和此文件是否在HDFS上存在）
NameNode检查完毕后允许客户端上传
客户端向NameNode发送上传Block1的请求
NameNode查询DateNode是否活跃和空间是否足够的信息，继而筛选
允许客户端上传Block1到DateNode1,DateNode2,DateNode3
然后客户端选择离自己最近的那个DateNode1发送请求
建立一个pipeline
客户端利用pipeline管道上传数据
所有DateNode都保存完数据后向客户端和NameNode发送上传完成的消息

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

why0104

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hadoop3.x 之 HDFS 写数据流程 完整使用 (月薪过万第六章)

小坏说Java，一个专注Java微服务架构的实战，Java全栈教程，SpringBoot, SpringCloud微服务到分布式、高并发架构，大数据开发，运维实战，K8S、Docker容器为一体的教程，结合企业级内部的技术栈学习

07-12

955

Hadoop3.x 之 HDFS 写数据流程 完整使用一、刨析文件的写入二、网络拓朴-节点距离计算三、机架感知（副本存储节点选择）四、HDFS 读数据流程 一、刨析文件的写入二、网络拓朴-节点距离计算三、机架感知（副本存储节点选择）四、HDFS 读数据流程 ...

HDFS 读写数据流程

程序猿进阶

06-11

8951

客户端开始往 dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以 Packet为单位，dn1收到一个 Packet就会传给 dn2，dn2传给 dn3；利用这种标记，这里给出四种距离描述，如上图所示：大家算一算每两个节点之间的距离：每一个线表示1，例如 11 到 4距离为3。对于常见情况，当复制因子为3时，HDFS的放置策略是将一个副本放在本地机架中的一个节点上，另一个放在本地机架中的另一个节点上，最后一个放在不同机架中的另一个节点上。【3】第三个副本位于不同机架，随机节点。

参与评论您还未登录，请先登录后发表或查看评论

HDFS读写数据流程

eli的博客

11-16

4115

5、Client请求3台中的一台DataNode 1(网络拓扑上的就近原则，如果都一样，则随机挑选一台DataNode)上传数据（本质上是一个RPC调用，建立pipeline）,DataNode 1收到请求会继续调用DataNode 2,然后DataNode 2调用DataNode 3，将整个pipeline建立完成，然后逐级返回客户端。4、NameNode返回3个DataNode服务器DataNode 1，DataNode 2，DataNode 3。2、NameNode返回是否可以上传。

HDFS读写数据流程详解

qq_41544550的博客

11-17

2548

HDFS写数据流程 步骤： 1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 block上传到哪几个datanode服务器上。 4）NameNode返回3个datanode节点，分别为dn1、dn2、dn3。 5）客户端...

HDFS写数据流程简述

久醉绕心弦的博客

07-10

1199

1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 Block上传到哪几个DataNode服务器上。 4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。 5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。 ..

HDFS读写数据流程（详解）

qq_654603797

06-28

2055

HDFS写数据流程 客户端通过DistributedFileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 NameNode返回是否可以上传。客户端请求第一个Block上传到哪几个DataNode服务器上。 NameNode返回3个DataNode节点，分别为DN1,DN2,DN3。客户端通过FSDataOutputStream模块请求DN1上传数据，DN1收到请求会继续调用DN2，然后DN2调用DN3，将这个通信管道建立完成。

hdfs 读写数据流程

weixin_46376562的博客

07-18

762

具体流程：

HDFS读写数据流程（详细）

m0_69406980的博客

11-24

649

HDFS读写数据流程

HDFS读写流程

金州饿霸吃不饱的博客

01-07

994

因为namenode维护管理了文件系统的元数据信息，这就造成了不管是读还是写数据都是基于NameNode开始的，也就是说NameNode成为了HDFS访问的唯一入口。。

HDFS读写流程详细过程

热门推荐

m0_57697768的博客

05-29

1万+

HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术

HDFS读写数据流程分析.ppt

09-29

HDFS读写数据流程分析 HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和管理大规模数据。在HDFS中，数据读写是通过客户端与NameNode和DataNode进行交互实现的。在这里，我们将详细分析HDFS...

第三章布局

beyond谚语的博客

11-08

1095

WPF 用不同的容器(container)安排布局。每个容器有各自的布局逻辑——有些容器以堆栈方式布置元素，另一些容器在网格中不可见的单元格中排列元素，等等。在 WPF 中非常抵制基于坐标的布局，而是注重创建更灵活的布局，使布局能够适应内容的变化、不同的语言以及名种窗口尺寸。

Hadoop 与AI大模型实战：从Hive、Impala（Cloudera CDH、CDP）海量数据到 AI 决策的落地方法

yumgpkpm的专栏

12-10

226

摘要：本文提出从Hadoop数据湖（Hive/Impala）到AI决策的落地方法，采用四步走策略：1）构建统一数据底座，确保数据质量；2）建立可复用特征工程体系；3）实现模型训练与评估自动化；4）部署低延迟推理服务。重点强调特征一致性、闭环反馈机制和业务场景落地，建议从高价值场景入手，避免"大而全"方案。通过将传统大数据平台与现代AI工程结合，可低成本构建持续进化的智能决策系统。

Hadoop 全维度技术深度解析

欢迎来到我的博客！

12-05

679

拓展对非结构化数据（如图片、视频、音频）的处理能力，集成深度学习框架（如 TensorFlow、PyTorch），实现大数据与人工智能的融合，支持图像识别、语音分析等场景。未来 Hadoop 将全面拥抱云原生技术，支持在 Kubernetes 上实现一键部署与弹性伸缩，同时深化与云存储的集成，实现计算与存储的分离，降低集群的运维成本。弱化传统批处理框架，强化与 Flink 的集成，实现批流一体的数据处理，同时提升实时计算的低延迟与高吞吐能力，满足金融、电商等行业的实时业务需求。

2020秋季学期中国科学技术大学计算机科学与技术专业编译原理课程实验项目全记录与代码实现_包含词法分析语法分析语义分析中间代码生成优化和目标代码生成等完整编译流程的五个实验模块详细.zip

12-10

网络卡顿，重启网络，双击

12-10

网络卡顿，重启网络，双击

电子科技大学编译原理课程实验项目基于Python实现的Pascal语言部分编译器设计与实现包含词法分析器和语法分析器两大核心模块能够对特定Pascal源代码进行逐字符扫描识.zip

12-10

基于非支配吸血水蛭优化算法 (NSBSLO)求解多目标柔性作业车间调度问题(FJSP）研究（Matlab代码实现）