HDFS读数据流程

最新推荐文章于 2024-06-24 22:53:05 发布
原创 最新推荐文章于 2024-06-24 22:53:05 发布 · 269 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hdfs #hadoop #大数据

本文详细介绍了HDFS中文件读取的过程，包括客户端如何请求下载文件、NameNode验证权限及文件存在性、发送文件元数据给客户端、客户端读取数据前的校验和检查、以及如何从DataNode读取数据块并最终合并成完整文件。

第一步;请求下载文件/user/atguigw/ss.av会带着这个路径向NameNode发送请求 第二步;Namenode接受到请求之后会先判新该用户是否有权限，读取的文件是否存在，如果都无误的话他会将文件的元数据也就是文件所在 datenode节点的位置发送给客户端，再发送给容户媒一次会发送部分或者界全部的datenode节点位置，客户端得到文件，数据块的存储位置之后会调用read方法去读取数据，读取数据谈之前他会先进行一个cheosum行转和的接作，去判斯一下校验和是否是否正确，正确则读不正确则去下 一个存放该block块的datenode节点上面去波取，读数完namenode发送时来所有的6100k块之后会再去询问是否还有block块，如果有则接着读，如果没有则将这些数据续合并成一个大文件进行调用，cloge 方法关闭数粮流HDFS读数据流程 第一步;请求下载文件/user/atguigw/ss.av会带着这个路径向NameNode发送请求 第二步;Namenode接受到请求之后会先判新该用户是否有权限，读取的文件是否存在，如果都无误的话他会将文件的元数据也就是文件所在 datenode节点的位置发送给客户端，再发送给容户媒一次会发送部分或者界全部的datenode节点位置，客户端得到文件，数据块的存储位置之后会调用read方法去读取数据，读取数据谈之前他会先进行一个cheosum行转和的接作，去判斯一下校验和是否是否正确，正确则读不正确则去下 一个存放该block块的datenode节点上面去波取，读数完namenode发送时来所有的6100k块之后会再去询问是否还有block块，如果有则接着读，如果没有则将这些数据续合并成一个大文件进行调用，cloge 方法关闭数粮流

HDFS读数据过程
galaargl的博客
10-26 259
1.打开文件； 我们首先要创建FSData Input Stream的输入流，用户客户端只与它打交道，它里面封装的DFSInput Stream会与具体的相关名词之间打交道，并且是后台封装的，不是代码实现的。 2.获取数据块信息； DFSInput Stream通过远程过程调用与名称节点进行沟通，获取所访问的数据块集体位置信息。（通过ClientProtocal.getBlockLocationc()查找下一个数据块）返回的时候会以远近进行排序。 3.读取请求/4.读取数据； 获得位置信息后客户端
HDFView安装及使用教程
热门推荐
qq_43722079的博客
12-07 7万+
简介：直接用记事本打开hdf5文件的话，是一团乱码。HDFView是用来查看hdf5文件的软件，可以免费使用，好多人都有闪退的情况，这是因为没有添加环境变量。
HDFS读数据的流程
qq_41787597的博客
03-10 675
1、 Client 向 NameNode 发起 RPC 请求，来确定请求文件 block 所在的位置；2、 NameNode会视情况返回文件的部分或者全部block列表，对于每个block，NameNode 都会返回含有该 block 副本的 DataNode 地址；3、 这些返回的 DN 地址，会按照集群拓扑结构得出 DataNode 与客户端的距离，然后进行排序，排序两个规则：网络拓扑结构中距...
HDFS读取数据流程详解
amingo_ss的博客
04-30 5218
hdfs读取数据流程详解 hdfs数据读取流程的流程和写入流程是相对应的。读取的目标存储在datanode block中，那么要搞清楚hdfs读取的流程，理解hdfs写入流程是前提。 另外理解HDFS的数据读取流程除了理解hdfs交互过程外，还需要知道下面两个知识点： （1）机架感知-副本存储机制 （2）网络拓扑-节点距离计算 本文包含的主要内容： 1.hdfs读取数据流程 2.hdfs读取数据过...
HDFS读写数据流程（详细）
m0_69406980的博客
11-24 649
HDFS读写数据流程
HDFS读写数据流程、NameNode与DataNode工作机制
追寻心的步伐
01-11 2125
这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文件(只进行追加操作，效率很高)。由于Edits中记录的操作会越来越多，Edits文件会越来越大，导致NameNode在启动加载Edits时会很慢，所以需要对Edits和Fsimage进行合并（所谓合并，就是将Edits和Fsimage加载到内存中，照着Edits中的操作一步步执行，最终形成新的Fsimage）。
000005 - HDFS 读写流程
张--小涛涛
06-24 1515
（7） 客户端开始往dn1 上传第一个Block （先从磁盘读取数据放到一个本地内存缓存），以 Packet 为单位，dn1 收到一个 Packet 就会传给 dn2，dn2 传给 dn3；（5）客户端通过 FSDataOutputStream 模块请求dn1 上传数据，dn1 收到请求会继续调用dn2，然后dn2 调用dn3，将这个通信管道建立完成。那么这个最近距离怎么计算呢？（8）当一个Block 传输完成之后，客户端再次请求NameNode 上传第二个Block 的服务器（重复执行 3-7 步）。
Hdfs的读数据流程
fanyongyao的博客
04-10 181
1、client请求namenode，请求相应文件。 2、那么node检查权限，检查时候有该文件，通过机架感知和负载情况，返回比较合适的三个datanode给client，如果文件有多个块，一个块一组datanode。 3、client开启一个流，首先请求第一个块，首先请求第一个节点，如果第一个节点不可访问，则请求第二个节点。 4、datanode返回相应数据，client将相应块写入文件。 5、...
hdfs读数据流程
ningchen_的博客
10-31 299
1.客户端先去namenode请求读取。 2.namenode提供block的位置。 3.客户端去相应的datenode寻找。 4.从datenode读取数据。
hdfs读写数据流程
最新发布
01-06
### HDFS 数据读写过程详解 #### 1. 写入数据到 HDFS 的详细流程 当客户端应用程序向 HDFS 中写入文件时，具体操作如下： - 客户端调用 `create()` 方法创建文件并获得输出流对象。此时会联系 NameNode 来确认目标文件是否存在以及获取分配 Block ID 和 DataNodes 列表的信息[^2]。 - 获取到允许后，客户端开始分片上传数据至指定的第一个 DataNode 节点，在传输过程中还会通知其他参与存储副本的 DataNodes 形成管道结构。 - 当第一个 DataNode 接收到部分数据包之后立即将其转发给下一个节点直到最后一个节点完成接收为止；与此同时每个接收到的数据块都会被临时保存于内存缓冲区等待持久化处理。 - 所有的 DataNode 都成功写入该片段后会给客户端返回 ACK 确认消息表示这一轮复制结束可以继续发送下一部分内容直至整个文件全部传完。 ```java // 创建文件并向其中写入数据 FileSystem fs = FileSystem.get(conf); FSDataOutputStream out = fs.create(new Path("/user/test.txt")); out.writeBytes("This is test content."); out.close(); fs.close(); ``` #### 2. 从 HDFS 读取数据的过程 对于从 HDFS 文件系统中读取文件的操作而言，主要经历以下几个阶段： - 应用程序通过调用 `open()` 函数打开所需的目标文件得到输入流实例，并请求 NameNode 提供有关此文件元数据信息（比如 block 大小、block locations）以便规划最优读取策略。 - 根据所获知的位置列表按顺序连接各个拥有相应 fragment 的 DataNodes 进行实际的数据拉取工作。如果当前节点发生故障则尝试切换到备选位置重新建立链接关系来保障连续性。 - 在每次成功下载一段完整的 chunk 后即刻传递给应用层做进一步解析或展示而不必等到整份文档完全加载完毕再统一交付使用从而实现边读边用的效果提升效率。 ```java // 打开文件并从中读取数据 FileSystem fs = FileSystem.get(conf); Path filePath = new Path("/user/test.txt"); FSDataInputStream in = fs.open(filePath); byte[] buffer = new byte[1024]; int bytesRead = in.read(buffer); // 尝试读取最多1KB的数据 String data = new String(buffer, 0, bytesRead); System.out.println(data); in.close(); fs.close(); ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值