HDFS文件读流程

最新推荐文章于 2025-02-25 13:54:23 发布
原创 最新推荐文章于 2025-02-25 13:54:23 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

1.HDFS读流程

bin/hdfs dfs -ls /

这里写图片描述
1.1hdfs读流程的底层实现
这里写图片描述
HDFS client指的是bin/hdfs dfs 命令，bin/hdfs dfs命令打开了分布式文件系统（distributed filesystem），分布式文件系统传了一个.open方法、路径到NameNode，NameNode判断读取的用户是否有权限、文件是否存在，【例如一个文件1个g，它对应的是几个块，这些块都分布在什么位置】，NameNode得知了块的位置，然后返回FSData InputStream，FSData InputStream去DataNode上读取内容，返回元数据。

下图为若泽数据对读流程的解释这里写图片描述

zhikanjiani
关注
HDFS文件读写流程
m0_59972727的博客
09-01 334
前置小知识： HDFS中的block、packet、chunk 很多博文介绍HDFS读写流程上来就直接从文件分块开始，其实，要把读写过程细节搞明白前，你必须知道block、packet与chunk。下面分别讲述。 block 这个大家应该知道，文件上传前需要分块，这个块就是block，一般为128MB，当然你可以去改，不顾不推荐。因为块太小：寻址时间占比过高。块太大：Map任务数太少，作业执行速度变慢。它是最大的一个单位。 packet packet是第二大的单位，它是client端向DataNode
HDFS读数据流程
zhangleilei_的博客
12-05 1054
（1）客户端给NameNode发起文件下载请求 （2）NameNode进行两项检查（1.检查用户是否有权限下载2.检查文件是否存在）
hdfs读写流程
06-19 1558
1.HDFS写流程： 客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后，客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本 如图：  写详细步骤： 1、根namenode通信请求上传文件，namenode检查
HDFS文件读取流程
JustinMars的博客
08-10 1903
1）client 客户端发送上传请求，通过 RPC 与 namenode 建立通信，namenode 检 查该用户是否有上传权限，以及上传的文件是否在 hdfs 对应的目录下重名，如 果这两者有任意一个不满足，则直接报错，如果两者都满足，则返回给客户端一 个可以上传的信息。4）客户端收到地址之后与服务器地址列表中的一个节点如 A 进行通信，本质上 就是 RPC 调用，建立 pipeline，A 收到请求后会继续调用 B，B 在调用 C，将整个 pipeline 建立完成，逐级返回 client。...
HDFS读取流程
weixin_72036027的博客
02-09 528
hdfs文件读取
HDFS 读写流程
weixin_34270606的博客
04-23 104
 读文件的过程 客户端(client)用FileSystem的open()函数打开文件 DistributedFileSystem用RPC调用元数据节点，得到文件的数据块信息。 对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。 DistributedFileSystem返回FSDataInputStream给客户端，用来读取数据。 客户端调用stream的read()函数...
HDFS读写文件流程
Admin_ghost的博客
06-26 1134
一、基础概念 block 文件上传前需要分块（block），一般为128MB。 块太小：寻址时间占比过高。块太大：Map任务数太少，作业执行速度变慢。 packet packet是client端向DataNode，或DataNode的PipLine之间传数据的基本单位，默认64KB。 chunk chunk是client向DataNode，或DataNode的PipLine之间进行数据校验的基本单位，默认512Byte，因为用作校验，故每个chunk需要带有4Byte的校验位。所以实际每个ch
000005 - HDFS 读写流程
张--小涛涛
06-24 1440
（7） 客户端开始往dn1 上传第一个Block （先从磁盘读取数据放到一个本地内存缓存），以 Packet 为单位，dn1 收到一个 Packet 就会传给 dn2，dn2 传给 dn3；（5）客户端通过 FSDataOutputStream 模块请求dn1 上传数据，dn1 收到请求会继续调用dn2，然后dn2 调用dn3，将这个通信管道建立完成。那么这个最近距离怎么计算呢？（8）当一个Block 传输完成之后，客户端再次请求NameNode 上传第二个Block 的服务器（重复执行 3-7 步）。
HDFS读写流程详解 —— 一图在手,天下我有~
weixin_48663895的博客
01-26 1884
对HDFS的读写流程进行了详细讲解，还有来自我这个“天才”画家的图解~
HDFS读写流程
金州饿霸吃不饱的博客
01-07 908
因为namenode维护管理了文件系统的元数据信息，这就造成了不管是读还是写数据都是基于NameNode开始的，也就是说NameNode成为了HDFS访问的唯一入口。。
HDFS读写流程（史上最精炼详细）
little prince，blue coder
07-16 8万+
概述 开始之前先看看其基本属性，HDFS（Hadoop Distributed File System）是GFS的开源实现。 特点如下： 能够运行在廉价机器上，硬件出错常态，需要具备高容错性 流式数据访问，而不是随机读写 面向大规模数据集，能够进行批处理、能够横向扩展 简单一致性模型，假定文件是一次写入、多次读取 缺点： 不支持低延迟数据访问 不适合大量小文件存储（因为每条元数据占...
Hadoop-HDFS读流程（从输入命令到回显）
lu070828的博客
01-11 1930
因此需要知道这个文件对应的了多少块（包括副本）都在什么哪些节点上以及节点的哪些目录中（那就需要请求NameNode），通过机架感知找到离Client节点最近的文件对应的每个块，然后依次发起读请求（请求DataNode），最后合成结果文件即可。FSNamesystem处已经写了块信息列表是按照和客户端的距离排好序的，这里剔除了坏块DataNode信息和需要忽略的DataNode，然后取列表中的最后一个DataNode来做为最终的DataNode，如果找不到就报告块丢失）
hadoop集群读、写数据的流程
热门推荐
诗水人间
10-24 12万+
1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。 2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。 3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。 4）客户端以Packet为单位接收，先在本地缓...
HDFS读流程
呼吸
09-03 1059
文章目录HDFS读流程读流程的概述读流程大体步骤对逻辑图的解释读流程代码剖析OPEN方法客户端类关系图**客户端方法关系图**NameNode数据存储逻辑图**服务端方法关系图****对Block列表进行排序**剖析READ方法数据传输格式客户端方法关系图服务端方法关系图数据的检验对checkSum的检验对packet的检验读异常与恢复Q&A HDFS读流程 读流程的概述 ] 读流程大体步骤 读流程就是client向HDFS读取数据的过程，分成三个部分，其大体步骤： 客户端通过调用FileSyste
hdfs读流程
Deng0_huakai
11-12 166
面试宝典 流程图如下： client通过分布式FileSystem.open(path)方法（其实就是传入路径，读的具体文件的路径），去与NN进行RPC通信，NN会校验路径是否存在 权限是否OK。 校验完成后，返回文件的部分或全部的block列表(其实就是返回FSDataInputStream对象)（假如块的数量比较多，那么可能先返回文件的部分块，等这一部分块读完之后，再继续返回其他的块） C...
hdfs的读流程
最新发布
小枫的博客
02-25 471
客户端接收到数据包后，将它们按照正确的顺序进行重组，得到完整的数据块。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值