HDFS Client Read流程分析【链接及图解】

最新推荐文章于 2024-11-29 10:28:30 发布

原创最新推荐文章于 2024-11-29 10:28:30 发布 · 567 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#hdfs

读写专栏收录该内容

8 篇文章

订阅专栏

本文深入剖析HDFS客户端读取文件的过程，包括调用DistributedFileSystem.open()方法，通过RPC向NameNode获取数据块位置信息，以及向DataNode获取数据块的真实长度，最终构建并返回HDFSDataInputStream供客户端使用。

1.

推荐博客：

打开文件
读操作

打开文件

当客户端读取一个HDFS文件时，首先会调用DistributedFileSystem.open（）方法打开这个文件，open方法首先会调用DFSCklient.open()方法创建HDFS文件对应的DFSInputStream输入流对象，然后构建一个HDFSDataInputSream对象包装DFSInputStream，最后将这个HDFSDataInputStream对象返回给客户端代码。

open（）操作调用了两个RPC方法，分别是

ClientProtocol.getBlockLocations()方法，用于获取文件对应的所有数据块的位置信息；
CientDatanodeProtocol.getReplicaVisibleLength（）方法，用于获取Datanode上存储的某个数据块的真实长度。

client  ---->  DistributeFileSystem.open()    
                                   |
                         DFSClient.open()
                           /      RPC    \
        ①向NN getBlockLocations()      ②向DN获得真实长度
                                  \/
                            得到DFSInputStream

两个RPC