HDFS的数据读写流程

最新推荐文章于 2025-01-07 19:16:01 发布
原创 最新推荐文章于 2025-01-07 19:16:01 发布 · 258 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#HDFS数据读写过程

本文详细介绍了HDFS数据的读写流程。读流程中，客户端通过一系列操作从名称节点获取块的数据节点信息，再从数据节点读取数据。写流程里，客户端先与名称节点交互，检查并创建文件夹存储块信息，然后将数据分包流经管道写入数据节点。还提及了相关文件系统、输入流和输出流的父子类关系。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

读流程

客户端------>DistributedFileSystem.open()------>FSDataInputStrean------>ClientProtocol.getBlockLocation()远程调用------>名称节点----------（返回块的数据节点，并排序）-------->DFSInputStream------>客户端------------（利用DFSInputStream.read()）------------>数据节点------>关闭流与数据节点的连接------>DFSInputStrean------>ClientProtocol.getBlockLocation()远程调用------>名称节点----------（返回块的数据节点，并排序）-------->DFSInputStream------>客户端------------（利用DFSInputStream.read()）------------>数据节点------>关闭流与数据节点的连接------>……------>关闭流.close()

HDFS读数据的过程

写流程

客户端------>DistributedFileSystem.create()------>FSDataOutputStream------>RPC远程调用------>名称节点------（检查，创建文件夹存储块信息）------>DFSOutputStream------>客户端------（利用DFSOutputStream.write()）------>（数据分包，放入流内部队列，申请数据节点，生成管道，流经管道）数据节点------（ACK Packet）------>客户端------（利用DFSOutputStream.write()）------>（数据分包，放入流内部队列，申请数据节点，生成管道，流经管道）数据节点------（ACK Packet）------>客户端------>……------>关闭流.close(),并且调用ClientProtocol.complete()通知名称节点关闭文件（一开始创建的文件）
HDFS写数据的过程

两个文件系统
FileSystem 父类
DistributedFileSystem 子类

两个输入流

FSDataInputStream 父类
DFSInputStream 子类

两个输出流
FSDataOutputStream 父类
DFSOutputStream 子类

HDFS客户端文件写操作---FSDataOutputStream的写操作01
weixin_39935887的博客
03-13 1786
在分析FSDataOutputStream的写操作前，我们先来了解一下它的结构，相应的结构图如图1： 图1我们开始分析写函数，最终调用的是DFSOutputStream类中的write函数，而DFSOutputStream继承FSOutputSummer，FSOutputSummer类中实现了write函数，该类中有两个write函数: write(byte b[], int off, int...
《Hadoop 2.X HDFS源码剖析》读书笔记（Client）
梓纾的专栏
11-05 4353
1. DSFClient实现对于管理文件/目录以及管理与配置HDFS系统这两个功能，DFSClient并不需要与Datanode交互，而是直接通过远程接口ClientProtocol调用Namenode提供的服务即可。而对于文件读写功能，DFSClient除了需要调用ClientProtocol与Namenode交互外，还需要通过流式接口DataTransferProtocol与Datanode交互
Hadoop HDFS源码学习笔记（七）--DFSInputStream -- openInfo
一剪梅
03-26 2092
现详细了解openInfo函数的内部实现，以及修改了什么 首先给出openInfo的调用序列图： 在openInfo函数中，首先会调用DFSClient的callGetBlockLocations，这个函数主要是通过跟namenode的交互，来完成从namenode取得用户请求的file的元数据信息，返回的内容为locatedBlocks 接下来会让DFSInputStream更新当
HDFS写入数据的流程
weixin_45800556的博客
11-03 569
首先客户端通过DistributedFileSystem对象调用create()方法创建文件。这时DistributedFileSystem会创建一个DFSOutPutStream，通过PRC调用让NameNode执行同名方法。NameNode此时会进行一系列的检查，包括这个文件是否存在、客户端是否拥有对该文件的权限、自身是否处于正常状态等等。若检查通过NameNode会记录创建操作到编辑日志中...
HDFS(十一)：一些骚气的功能
05-12 458
1.集群间数据拷贝 1.1 scp实现两个远程主机之间的文件复制 scp -r hello.txt root@pdc:/user/pdc/hello.txt // 推 push scp -r root@pdc:/user/pdc/hello.txt hello.txt // 拉 pull scp -r root@pdc:/user/pdc/hello.txt root@pdc2:/user/...
Hadoop技术HDFS数据读写流程共7页.pdf.zip
11-21
本文件" Hadoop技术HDFS数据读写流程共7页.pdf "显然提供了关于HDFS数据读写过程的详细信息，虽然实际的文档内容无法在此直接展示，但根据标题和描述，我们可以深入探讨HDFS的数据读写流程，以及它在Hadoop生态系统...
【HDFS篇06】HDFS数据读写流程1
08-04
本篇文章主要探讨HDFS的数据读写流程，特别是写数据的过程。 首先，我们关注HDFS的写数据流程： 1. **发起上传请求**：客户端通过Distributed FileSystem模块向NameNode发起请求，意图上传一个文件。NameNode是...
hdfs数据读写流程
01-05
### HDFS 数据读写流程详解 #### HDFS 写数据流程 当客户端要向 HDFS 中写入文件时，会先与 NameNode 进行交互来获取目标 DataNodes 的位置信息。NameNode 根据机架感知算法选择最优的 DataNodes 集合[^1]。 一旦...
000005 - HDFS 读写流程
张--小涛涛
06-24 1441
（7） 客户端开始往dn1 上传第一个Block （先从磁盘读取数据放到一个本地内存缓存），以 Packet 为单位，dn1 收到一个 Packet 就会传给 dn2，dn2 传给 dn3；（5）客户端通过 FSDataOutputStream 模块请求dn1 上传数据，dn1 收到请求会继续调用dn2，然后dn2 调用dn3，将这个通信管道建立完成。那么这个最近距离怎么计算呢？（8）当一个Block 传输完成之后，客户端再次请求NameNode 上传第二个Block 的服务器（重复执行 3-7 步）。
HDFS读写流程
最新发布
金州饿霸吃不饱的博客
01-07 908
因为namenode维护管理了文件系统的元数据信息，这就造成了不管是读还是写数据都是基于NameNode开始的，也就是说NameNode成为了HDFS访问的唯一入口。。
HDFS读写原理
aaxx123546的博客
08-25 256
Hadoop 是什么 Hadoop 是一个开源的大数据框架同时也是一个分布式计算的解决方案。Hadoop = HDFS （分布式文件系统）+MapReduce（分布式计算） HDFS HDFS 概念 数据块 NameNode DataNode 数据块： 数据块是一个抽象的块，而不是整个文件。默认大小是64Mb，一般设置为128Mb...
关于操作HDFS的一个问题
weixin_34292924的博客
04-26 893
近日写程序定时任务调Hadoop MR程序，然后生成报表，发送邮件，当时起了两个任务A和B，调MR程序之前，会操作hdfs（读写都有），任务A每天一点跑，任务B每十分钟跑一次，B任务不会调用MR程序，纯粹采集数据。结果第一天就发现任务A没有发送邮件，于是乎查日志，异常信息如下 java.io.IOException: Failed on local exception: java.io.In...
DFSOutputStream
I am not a quitter.
06-15 1572
客户端负责数据写入处理的核心类是DFSOutputStream，该类是DFSClient的内部类，同时它的内部包含三个内部类：数据包发送器DataStreamer、数据包确认处理器ResponseProcessor和数据包封装器Packet。       class DFSOutputStream extends FSOutputSummer implements Syncable{}
HDFS------namenode中的ClientProtocol的实现
shuhuai007的专栏
09-15 1385
一. 先来看public LocatedBlocks  getBlockLocations(String src,long offset, long length) throws IOException; 这个方法：返回文件的块的位置。 返回值LocatedBlocks的类图
大数据技术原理与应用作业三
weixin_43644559的博客
09-15 5334
大数据技术原理与应用作业三 1. 试述分布式文件系统设计的需求。 ​ 分布式文件系统的设计目标主要包括透明性、并发控制、可伸缩性、容错以及安全需求等。但是，在具体实现中，不同产品实现的级别和方式都有所不同。下面是具体指标的含义： **透明性：**具备访问透明性、位置透明性、性能和伸缩透明性。访问透明性是指用户不需要专门区分哪些是本地文件，哪些是远程文件，用户能够通过相同的操作来访问本地文件和远程文件资源。位置透明性是指在不改变路径名的前提下，不管文件副本数量和实际存储位置发生何种变化，对用户而言都是透明
Hadoop之HDFS读写流程
qq_32603475的博客
10-25 410
HDFS写流程 HDFS写流程步骤 创建文件 1、客户端调用DistributedFileSystem.create()方法Rpc方式（ClientProtocol.create()）远程调用NameNode（NameNodeRpcServer）的create()方法在HDFS上创建文件。 2、NameNode将该事务操作保持到edits.log文件当中 3、NameNode.create()创...
使用HDFS上传
建伟博客
05-25 4204
http://blog.youkuaiyun.com/jingling_zy/article/details/7397883 使用WebDAV从Windows上传日志到HDFS 本篇文章来源于 Linux公社网站(www.linuxidc.com)  原文链接：http://www.linuxidc.com/Linux/2012-01/51652.htm 在讨论如何从
hadoop源码hdfs学习-基础知识
strideahead的博客
07-19 296
在HDFS中，Namenode是HDFS的Master节点，负责管理文件系统的命名空间（namespace），以及数据块到具体DataNode节点的映射信息，集群中的DataNode一般是一个节点一个，，负责他所在节点上的存储。从内部看，一个文件被分为多个数据块，存储在以组DataNode上，以本地文件的形式保存这些数据块以及数据块的校验信息。 用户能通过HDFS客户端发起读写HDFS文件的...
HDFS的文件操作流(1)——写操作(客户端概述)
xhh198781的专栏
11-06 3793
大家可能对本地文件系统中的文件I/O流已经是非常的熟悉了，那么，像HDFS这种分布式的文件I/O流——基于网络I/O流的数据流，又是如何实现的呢？这就是本文的重点之一：HDFS的文件写入流。      熟悉HDFS的人可能知道，当我们调用DistributedFileSystem的create方法时，将会返回一个FSDataOutputStream对象，通过这个对象来对文件进行数据的写入。还是贴
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值