Hadoop HDFS源码学习笔记（七）--DFSInputStream -- openInfo

最新推荐文章于 2021-10-29 21:41:24 发布
原创 最新推荐文章于 2021-10-29 21:41:24 发布 · 2k 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#hadoop #file #null

本文深入探讨了openInfo函数的工作原理及其实现细节。该函数通过与namenode交互获取文件元数据，然后更新位于DFSInputStream中的locatedBlocks信息，并确定最后一个block的状态。如果block未完成，还会进一步获取其在datanode上的写入长度。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

现详细了解openInfo函数的内部实现，以及修改了什么

首先给出openInfo的调用序列图：


在openInfo函数中，首先会调用DFSClient的callGetBlockLocations，这个函数主要是通过跟namenode的交互，来完成从namenode取得用户请求的file的元数据信息，返回的内容为locatedBlocks

接下来会让DFSInputStream更新当前的locatedBlocks的信息，并且更新lastBlockBeingWrittenLength这个变量记录了当前读取file如果是underconstruction状态的话最后一个block正在写的字节长度

接下来会判断最后一个block是否处于complete状态，如果不是，则会根据元数据提供的block的pipeline来到datanode上获得block的写入长度，并赋值给lastBlockBeingWrittenLength

最后要对当前的currentNode赋值为null，因为currentNode记录的是当前操作的block的当前连接的datanode的info

下面看一下相关的类图：



Mei
关注
专栏目录
HDFS 数据流
ThisIsNobody的博客
06-22 724
参考Hadoop权威指南 3.6数据流1. 掌握剖析文件读取流程，分析图2. 掌握剖析文件写入流程，分析图
Hadoop源码分析之HDFS客户端的输入流类结构
东方吹雪的专栏
02-28 2581
当从HDFS集群中读取数据到客户端时，就要用到HDFS中的输入流类了，但是这里使用到了DFSInputSteam，FSInputStream，FSDataInputStream，DFSDataInputStream等这些类，如果不了解Java IO类的设计思想，这里很容易看迷糊，为什么用到类这么多*InputStream类？ 装饰器模式与Java IO中的装饰器模式 在Java IO中，也
Hadoop-2.2.0中DFSInputStream类的read方法浅析
u013281331的专栏
01-08 1189
DFSInputStream类共有三个read方法： public synchronized int read(final ByteBuffer buf) public synchronized int read(final byte buf[], int off, int len) public int read(long position, byte[] buffer, int
DFSInputStream类中的零拷贝数据读取----read(ByteBufferPool bufferPool,int maxLength, EnumSet<ReadOption> opts)
weixin_39935887的博客
02-15 656
  在阅读这篇文章前，建议先阅读这篇文章。 我们回到DFSInputStream中的read函数，这些函数的逻辑都差不多，都是会创建BlockReaderFactory类对象，并执行该对象的build函数，相应的代码我在之前的文章中都有讲述，可以翻看我之前的文章，我们这里讲解函数 public synchronized ByteBuffer read(ByteBufferPool buffe...
hadoop 序列图DFSClient.DFSInputStream
weixin_34007906的博客
08-06 133
2019独角兽企业重金招聘Python工程师标准>>> ...
HBase如何从Hadoop读取数据，DFSInputStream
bupt041137的专栏
08-08 767
HDFS Client的读取流是从DFSInputStream来获得的，外层做了不少包装。 从DFSInputStream读取数据有两种方式： （1）seek(long targetPos) + read(byte buf[], int off, int len) （2）read(long position, byte[] buffer, int offset, int length)  ...
hadoop-hdfs-fsimage-exporter：将Hadoop HDFS内容统计信息导出到Prometheus
02-03
Prometheus Hadoop HDFS FSImage导出器 | 将Hadoop HDFS统计信息导出到包括 总数/每个用户/每个组/每个配置的目录路径/每个路径集 目录数 文件数 文件大小和大小分布（可选） 块数 文件复制（总体/每个用户摘要）...
hadoop-hdfs-client-2.9.1-API文档-中文版.zip
04-07
赠送jar包：hadoop-hdfs-client-2.9.1.jar 赠送原API文档：hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码：hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档：hadoop-hdfs-client-2.9.1-javadoc-...
Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码
09-10
Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】---- 代码 Hadoop 3.x（HDFS）----【HDFS 的 API 操作】--...
hdfs-over-ftp-hadoop-0.20.0.rar_ftp_ftpoverhdfs_hdfs文件传入ftp_java
09-14
标题 "hdfs-over-ftp-hadoop-0.20.0.rar" 提示我们关注的是一个关于将HDFS（Hadoop Distributed File System）与FTP（File Transfer Protocol）整合的项目，特别适用于版本0.20.0的Hadoop。这个项目可能提供了在...
大数据：Hadoop2.x---HDFS数据读写流程
Dr.Pandora's Box
09-16 439
初始化FileSystem，然后客户端(client)用FileSystem的open()函数打开文件 FileSystem用RPC调用元数据节点，得到文件的数据块信息，对于每一个数据块，元数据节点返回保存数据块的数据节点的地址。 FileSystem返回FSDataInputStream给客户端，用来读取数据，客户端调用stream的read()函数开始读取数据。 DFSInpu...
读HDFS书笔记---5.2 文件读操作与输入流(5.2.2)---上
weixin_39935887的博客
11-22 885
5.2.2 读操作--DFSInputStream实现    HDFS目前实现的读操作有三个层次，分别是网络读、短路读(short circuit read)以及零拷贝(zero copy read),它们的读取效率一次递增。 网络读： 网络读是最基本的一种HDFS读，DFSClient和Datanode通过建立Socket连接传输数据。 短路读： 当DFSClient和保存目标数据块的...
读HDFS书笔记---5.2 文件读操作与输入流(5.2.1)
weixin_39935887的博客
11-22 681
5.2.1 打开文件          用户读取一个HDFS文件时，首先会调用DistributedFileSystem.open()方法打开这个文件，并获取文件对应的FSDataInputStream输入流，然后在这个FSDataInputStream对象上调用read方法读取数据。整个流程图如下： 上图中的USERCODE为用户代码，调用DistributedFileSystem中的o...
HDFS读写流程梳理
weixin_43418390的博客
09-10 362
HDFS读写流程 hdfs的读写主要设计Client、NameNode、DataNode等节点 HDHS客户端进行文件读操作流程 1.打开HDFS文件，构造DFSInputStream输入流 HDFS客户端调用DistributesFileSystem.open()方法打开HDFS文件，其底层实际上是调用ClientPropocol.open()方法，返回一个HdfsDataInputStream(DFSInputStream的装饰类，真正进行读取操作是DFSInputStream)。 2.从NameNo
HDFS读流程
呼吸
09-03 1059
文章目录HDFS读流程读流程的概述读流程大体步骤对逻辑图的解释读流程代码剖析OPEN方法客户端类关系图**客户端方法关系图**NameNode数据存储逻辑图**服务端方法关系图****对Block列表进行排序**剖析READ方法数据传输格式客户端方法关系图服务端方法关系图数据的检验对checkSum的检验对packet的检验读异常与恢复Q&A HDFS读流程 读流程的概述 ] 读流程大体步骤 读流程就是client向HDFS读取数据的过程，分成三个部分，其大体步骤： 客户端通过调用FileSyste
hadoop 读流程追踪-Client端
qq_29989725的博客
08-28 365
Client端读文件流程 创建DFSInputStream 具体流程 代码分析： FileSystem.get方法获取DistributedFileSystem对象 fileSystem = FileSystem.get(configuration); System.out.println(fileSystem.getClass()); 输出 //根据configuration传入的参数分析schema后获取的hdfs对应的文件系统DistributedFileSystem，具体流程不再展示 class
用流的方式来操作hdfs上的文件
心如止水 宠辱不惊
12-03 5041
package cn.itcast.bigdata.hdfs; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.net.URI; import org.apache.commons.io.IOUtils; import org.apa
HDFS写数据流
weixin_62845087的博客
10-29 247
#FSDataInputStream封装了DFSInputStream 大部分的HDFS程序对文件操作采用的是“一次写多次读取”的模式。 1.HDFS客户端先向DFSInputStream发起创建文件请求，创建输出流。DFSInputStream对想象中的Create（）函数创建一个文件。 2.DistributedFileSystem输出流要执行RPC远程调用名称节点，让名称节点在文件系统空间中创建一个新文件。但名称节点不会直接创建一个新的文件，名称节点先要观察所要创建的文件是否已存在，还要观...
从hadoop 0.20到2.4.1版本hdfs-over-ftp的升级
- **Hadoop 2.4.1**：这是Apache Hadoop的一个稳定版本，提供了许多改进和新特性，包括YARN（Yet Another Resource Negotiator）的新资源管理器、HDFS联邦以及对HDFS高可用性的改进。了解Hadoop 2.4.1版本可以更好地...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值