HDFS写数据流程

最新推荐文章于 2025-12-10 22:10:48 发布
原创 最新推荐文章于 2025-12-10 22:10:48 发布 · 100 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hdfs #hadoop #大数据

1.与NameNode通讯请求上传文件，NameNode检查目标文件是否已经存在，父目录是否已经存在

 

2.NameNode返回是否可以上传

3.Client先对文件进行切分，请求第一个block该传输到哪些DateNode服务器上

4.NameNode返回3个Datenode1,Datenode2,Datenode3

5.Client请求3台中的一台Datenode1上传数据，Datenode1收到请求会继续调用Datenode2,然后Datenode2调用Datenode3,将整个pipeline建立完成，然后逐渐返回客户端

6.Client开始往Datenode1上传第一个block,以pocket为单位。写入的时候Datenode会进行数据校检而是以chunk为单位进行校检。Datenode1收到一个packet就会传给Datenode2,Datenode2传给Datenode3,Datenode1每传一个pocket会放入一个应答队列等待应答

7.当一个block传输完成之后，Client再次请求NameNode上传第二个blockde 服务器​​​​​​​

Hadoop3.x 之 HDFS 写数据流程 完整使用 (月薪过万 第六章)
小坏说Java，一个专注Java微服务架构的实战，Java全栈教程，SpringBoot, SpringCloud微服务到分布式、高并发架构，大数据开发，运维实战，K8S、Docker容器为一体的教程，结合企业级内部的技术栈学习
07-12 955
Hadoop3.x 之 HDFS 写数据流程 完整使用一、刨析文件的写入二、网络拓朴-节点距离计算三、机架感知（副本存储节点选择）四、HDFS 读数据流程 一、刨析文件的写入 二、网络拓朴-节点距离计算 三、机架感知（副本存储节点选择） 四、HDFS 读数据流程 ...
HDFS 读写数据流程
程序猿进阶
06-11 8951
客户端开始往 dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以 Packet为单位，dn1收到一个 Packet就会传给 dn2，dn2传给 dn3；利用这种标记，这里给出四种距离描述，如上图所示：大家算一算每两个节点之间的距离：每一个线表示1，例如 11 到 4距离为3。对于常见情况，当复制因子为3时，HDFS的放置策略是将一个副本放在本地机架中的一个节点上，另一个放在本地机架中的另一个节点上，最后一个放在不同机架中的另一个节点上。【3】第三个副本位于不同机架，随机节点。
HDFS读写数据流程
eli的博客
11-16 4116
5、Client请求3台中的一台DataNode 1(网络拓扑上的就近原则，如果都一样，则随机挑选一台DataNode)上传数据（本质上是一个RPC调用，建立pipeline）,DataNode 1收到请求会继续调用DataNode 2,然后DataNode 2调用DataNode 3，将整个pipeline建立完成，然后逐级返回客户端。4、NameNode返回3个DataNode服务器DataNode 1，DataNode 2，DataNode 3。2、NameNode返回是否可以上传。
HDFS读写数据流程详解
qq_41544550的博客
11-17 2550
HDFS写数据流程 步骤： 1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 block上传到哪几个datanode服务器上。 4）NameNode返回3个datanode节点，分别为dn1、dn2、dn3。 5）客户端...
HDFS写数据流程简述
久醉绕心弦的博客
07-10 1199
1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 Block上传到哪几个DataNode服务器上。 4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。 5）客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，将这个通信管道建立完成。 ..
HDFS读写数据流程（详解）
qq_654603797
06-28 2055
HDFS写数据流程 客户端通过DistributedFileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 NameNode返回是否可以上传。 客户端请求第一个Block上传到哪几个DataNode服务器上。 NameNode返回3个DataNode节点，分别为DN1,DN2,DN3。 客户端通过FSDataOutputStream模块请求DN1上传数据，DN1收到请求会继续调用DN2，然后DN2调用DN3，将这个通信管道建立完成。
hdfs 读写数据流程
weixin_46376562的博客
07-18 762
具体流程：
HDFS读写数据流程（详细）
m0_69406980的博客
11-24 649
HDFS读写数据流程
HDFS读写流程
金州饿霸吃不饱的博客
01-07 994
因为namenode维护管理了文件系统的元数据信息，这就造成了不管是读还是写数据都是基于NameNode开始的，也就是说NameNode成为了HDFS访问的唯一入口。。
HDFS读写流程详细过程
热门推荐
m0_57697768的博客
05-29 1万+
HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术
HDFS读写数据流程分析.ppt
09-29
HDFS读写数据流程分析 HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和管理大规模数据。在HDFS中，数据读写是通过客户端与NameNode和DataNode进行交互实现的。在这里，我们将详细分析HDFS...
第三章 布局
beyond谚语的博客
11-08 1095
WPF 用不同的容器(container)安排布局。每个容器有各自的布局逻辑——有些容器以堆栈方式布置元素，另一些容器在网格中不可见的单元格中排列元素，等等。在 WPF 中非常抵制基于坐标的布局，而是注重创建更灵活的布局，使布局能够适应内容的变化、不同的语言以及名种窗口尺寸。
WPF 中隧道事件和冒泡事件
zzyzxb的博客
12-07 609
隧道事件也叫“预览事件”（Preview事件），事件触发后会从可视化树的根节点（如Window）向下传播，直到到达实际触发事件的目标元素。根元素（Window） → 父容器（如Grid） → 子容器（如StackPanel） → 目标元素（如Button）命名特征：所有隧道事件都以Preview为前缀（这是区分的核心标识），比如（少数）。作用：常用于提前拦截/预处理事件（比如在Window层拦截用户的非法操作，不让事件传到目标元素）。冒泡事件是WPF中最常见的路由事件，事件触发后会。
hive和hadoop如何部署
S_ZaiJiangHu的博客
12-07 968
只想写 SQL 选方案一想完整体验 Hadoop+Hive 选方案二要上生产选方案三，并可继续问我拿 Dockerfile 与 compose 模板祝使用愉快！
Hadoop 全维度技术深度解析
欢迎来到我的博客！
12-05 696
拓展对非结构化数据（如图片、视频、音频）的处理能力，集成深度学习框架（如 TensorFlow、PyTorch），实现大数据与人工智能的融合，支持图像识别、语音分析等场景。未来 Hadoop 将全面拥抱云原生技术，支持在 Kubernetes 上实现一键部署与弹性伸缩，同时深化与云存储的集成，实现计算与存储的分离，降低集群的运维成本。弱化传统批处理框架，强化与 Flink 的集成，实现批流一体的数据处理，同时提升实时计算的低延迟与高吞吐能力，满足金融、电商等行业的实时业务需求。
java高并发高可用场景解决方案
最新发布
Liaka的博客
12-10 610
相信大部人初级开发跟我一样，平时接触不到什么高并发场景，虽然也能花心思做，但总是受困于杀鸡用牛刀或工资配不上努力或没时间等。故本人整理一份分场景的高并发解决方案，也会包括高可用场景。
祝贺朱雀三号首飞成功入轨！国产时序数据库 IoTDB 助力火箭试验
qin_DB的博客
12-05 926
朱雀三号首飞成功入轨，为国家航天运力体系增添了一款性能先进、潜力巨大的新型主力火箭，补强了我国大运力、低成本、高频次进入空间的运载能力，精准响应了国家卫星互联网星座工程建设大规模组网的迫切需求。本次首飞任务不仅检验了朱雀三号总体方案、动力系统、飞控系统、结构与航电系统的正确性和可靠性，也获取了真实飞行状态下的大量关键工程参数。，带回了真实飞行条件下的重要工程参数，为后续型号优化设计、提升整体可靠性、实现子级回收及重复使用奠定了重要基础。每一次成功的首飞，都是无数次试验和无数条数据的积累。
Spring Boot + Easy-ES 3.0 + Easyearch 实战：从 CRUD 到“避坑”指南
铭毅天下Elasticsearch
12-09 675
Easy-ES 3.0.0 虽然简化了配置，但对 ES 客户端版本的兼容性依然有要求。（简称 EE）作为 ES 界的“MyBatis-Plus”，凭借其强大的 ORM 能力和简洁的 API，正在成为许多 Java 开发者的首选。：Windows 终端默认 GBK，而 Maven 和 Java 都在用 UTF-8，编码不一致导致“鸡同鸭讲”。：Windows PowerShell 下跑 Maven 测试，日志里的中文全是乱码，根本看不懂报错信息。代码写完了，一运行测试用例，往往才是噩梦的开始。
hdfs读写数据流程
01-06
### HDFS 数据读写过程详解 #### 1. 写入数据到 HDFS 的详细流程 当客户端应用程序向 HDFS 中写入文件时，具体操作如下： - 客户端调用 `create()` 方法创建文件并获得输出流对象。此时会联系 NameNode 来确认目标文件是否存在以及获取分配 Block ID 和 DataNodes 列表的信息[^2]。 - 获取到允许后，客户端开始分片上传数据至指定的第一个 DataNode 节点，在传输过程中还会通知其他参与存储副本的 DataNodes 形成管道结构。 - 当第一个 DataNode 接收到部分数据包之后立即将其转发给下一个节点直到最后一个节点完成接收为止；与此同时每个接收到的数据块都会被临时保存于内存缓冲区等待持久化处理。 - 所有的 DataNode 都成功写入该片段后会给客户端返回 ACK 确认消息表示这一轮复制结束可以继续发送下一部分内容直至整个文件全部传完。 ```java // 创建文件并向其中写入数据 FileSystem fs = FileSystem.get(conf); FSDataOutputStream out = fs.create(new Path("/user/test.txt")); out.writeBytes("This is test content."); out.close(); fs.close(); ``` #### 2. 从 HDFS 读取数据的过程 对于从 HDFS 文件系统中读取文件的操作而言，主要经历以下几个阶段： - 应用程序通过调用 `open()` 函数打开所需的目标文件得到输入流实例，并请求 NameNode 提供有关此文件元数据信息（比如 block 大小、block locations）以便规划最优读取策略。 - 根据所获知的位置列表按顺序连接各个拥有相应 fragment 的 DataNodes 进行实际的数据拉取工作。如果当前节点发生故障则尝试切换到备选位置重新建立链接关系来保障连续性。 - 在每次成功下载一段完整的 chunk 后即刻传递给应用层做进一步解析或展示而不必等到整份文档完全加载完毕再统一交付使用从而实现边读边用的效果提升效率。 ```java // 打开文件并从中读取数据 FileSystem fs = FileSystem.get(conf); Path filePath = new Path("/user/test.txt"); FSDataInputStream in = fs.open(filePath); byte[] buffer = new byte[1024]; int bytesRead = in.read(buffer); // 尝试读取最多1KB的数据 String data = new String(buffer, 0, bytesRead); System.out.println(data); in.close(); fs.close(); ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值