HDFS读数据的流程

最新推荐文章于 2025-02-25 13:54:23 发布
原创 最新推荐文章于 2025-02-25 13:54:23 发布 · 145 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文详细描述了在Hadoop分布式文件系统中，客户端如何通过Namenode获取文件元数据，并从DataNode节点读取文件块的过程。客户端首先请求Namenode验证文件存在并获取其块信息，然后依次从指定的DataNode读取每个数据块完成文件读取操作。

1、客户端：namenode，我要读取/test/a.txt,请确认！

2、namenode：好的，有这个文件可以读取，这个文件的元数据我发给你了，你自己去找吧（元数据：文件有两个块，blk-17728-1(dream1)，blk-17728-2(dream1)）（我去看看有没有数据）

3、客户端：我去找dream1读了，draem1我要读取 blk-17728-1

4、datanode(dream1)：有这个文件，传输连接已经建立，开始传输

5、客户端：好的第一个块已经读完了，没你的事了，我再去找blk-17728-2 (重复3-4)

 

HDFS读数据流程
zhangleilei_的博客
12-05 1100
（1）客户端给NameNode发起文件下载请求 （2）NameNode进行两项检查（1.检查用户是否有权限下载2.检查文件是否存在）
HDFS读取数据流程详解
amingo_ss的博客
04-30 5212
hdfs读取数据流程详解 hdfs数据读取流程的流程和写入流程是相对应的。读取的目标存储在datanode block中，那么要搞清楚hdfs读取的流程，理解hdfs写入流程是前提。 另外理解HDFS的数据读取流程除了理解hdfs交互过程外，还需要知道下面两个知识点： （1）机架感知-副本存储机制 （2）网络拓扑-节点距离计算 本文包含的主要内容： 1.hdfs读取数据流程 2.hdfs读取数据过...
HDFS读写数据流程
eli的博客
11-16 4102
5、Client请求3台中的一台DataNode 1(网络拓扑上的就近原则，如果都一样，则随机挑选一台DataNode)上传数据（本质上是一个RPC调用，建立pipeline）,DataNode 1收到请求会继续调用DataNode 2,然后DataNode 2调用DataNode 3，将整个pipeline建立完成，然后逐级返回客户端。4、NameNode返回3个DataNode服务器DataNode 1，DataNode 2，DataNode 3。2、NameNode返回是否可以上传。
HDFS读取数据的流程图
weixin_58468790的博客
08-08 424
HDFS读取数据的流程图
HDFS 读写数据流程
程序猿进阶
06-11 8915
客户端开始往 dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以 Packet为单位，dn1收到一个 Packet就会传给 dn2，dn2传给 dn3；利用这种标记，这里给出四种距离描述，如上图所示：大家算一算每两个节点之间的距离：每一个线表示1，例如 11 到 4距离为3。对于常见情况，当复制因子为3时，HDFS的放置策略是将一个副本放在本地机架中的一个节点上，另一个放在本地机架中的另一个节点上，最后一个放在不同机架中的另一个节点上。【3】第三个副本位于不同机架，随机节点。
Hadoop-HDFS读数据流程
m0_67125266的博客
12-14 702
HDFS读数据流程： 1.客户端像NameNode请求读取文件 2.NameNode判断客户端对该文件是否有读取权限，没有就直接报错，如果有读权限，则再校验该文件知否存在，不存在则报错，文件存在就会根据 机架感知原理和网络拓扑图返回该文件在DataNode上的block块地址信息给客户端 3.客户端根据接收到的地址信息，到对应的DataNode上读取文件 4.如果之前读取的是部分块，则读取完成后，会再次向namenode申请读取其他block块的地址信息，然后重新读取，直至所有block块全部读取
HDFS读取数据流程
qq_58732706的博客
12-21 372
HDFS读取数据流程 首先客户端发送请求到DFS，申请读取某一个文件 DFS就会取NameNode查找这个文件的信息(比如：权限，文件是否存在) 如果文件不存在，或者客户没用权限，那么就抛出指定的错误 如果文件存在，返回一个成功的状态 如果DFS接收到成功状态就会创建FileDataInputStream对象，客户端再通过这个输入流对象来读取数据 客户端会请求文件和BLK的关系，请求BLK与DataNode的关系，然后获取文件第一个Block信息,返回DataNode1 DataNode2 Data
hdfs的读流程
最新发布
小枫的博客
02-25 525
客户端接收到数据包后，将它们按照正确的顺序进行重组，得到完整的数据块。
HDFS读写数据流程（详细）
m0_69406980的博客
11-24 647
HDFS读写数据流程
HDFS读写数据流程、NameNode与DataNode工作机制
追寻心的步伐
01-11 2111
这样又会带来新的问题，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。因此，引入Edits文件(只进行追加操作，效率很高)。由于Edits中记录的操作会越来越多，Edits文件会越来越大，导致NameNode在启动加载Edits时会很慢，所以需要对Edits和Fsimage进行合并（所谓合并，就是将Edits和Fsimage加载到内存中，照着Edits中的操作一步步执行，最终形成新的Fsimage）。
000005 - HDFS 读写流程
张--小涛涛
06-24 1505
（7） 客户端开始往dn1 上传第一个Block （先从磁盘读取数据放到一个本地内存缓存），以 Packet 为单位，dn1 收到一个 Packet 就会传给 dn2，dn2 传给 dn3；（5）客户端通过 FSDataOutputStream 模块请求dn1 上传数据，dn1 收到请求会继续调用dn2，然后dn2 调用dn3，将这个通信管道建立完成。那么这个最近距离怎么计算呢？（8）当一个Block 传输完成之后，客户端再次请求NameNode 上传第二个Block 的服务器（重复执行 3-7 步）。
hadoop+wsl 10.255.255.254，BlockMissingException: Could not obtain block: 踩坑
javaMylife的博客
11-18 1558
我在我的wsl中启动一个hadoop用java客户端连接hadoop，读取某个文件的内容异常，但是读取文件名，文件路径好用。
Hadoop Java 常用Api
javaMylife的博客
12-11 869
package com.ws; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.junit.Before; import org.junit.Test; import java.io.BufferedInputStream; import java.io.BufferedReader; import java.io.IOException; import java.io.Inp.
设置MapReduce切片大小
javaMylife的博客
01-10 760
FileInputFormat.setMinInputSplitSize(job,55*1024*1024); 单位b,为这是55M
map流程
javaMylife的博客
12-21 694
LineRecordReader,Mapper,Context mapTask---->run-------->setup--------->while(context.nextKeyValue|LineRecordReader得到map方法需要的的key和value)-------->map-------->cleanup
分布式程序中YARN中的角色
javaMylife的博客
09-21 546
和。
hadoop和hbase版本冲突
javaMylife的博客
01-10 418
hdfs读写数据流程
01-06
从 HDFS 读取数据的过程 对于从 HDFS 文件系统中读取文件的操作而言，主要经历以下几个阶段： - 应用程序通过调用 `open()` 函数打开所需的目标文件得到输入流实例，并请求 NameNode 提供有关此文件元数据信息...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值