【HDFS】读数据ReaderStrategy类

大数据技术部落

于 2024-01-08 16:42:07 发布

阅读量432

点赞数 9

分类专栏： HDFS全方位实战文章标签： hdfs java hadoop

本文链接：https://blog.youkuaiyun.com/yexiguafu/article/details/134172179

版权

HDFS全方位实战专栏收录该内容

191 篇文章 ¥29.90 ¥99.00

订阅专栏

HDFS客户端在读取数据时采用ReaderStrategy接口，实现无感知的读策略。该接口包括ByteArrayStrategy和ByteBufferStrategy两个非线程安全的子类。DFSInputStream的read方法利用这些策略进行数据读取，例如ByteBufferStrategy在readWithStrategy中通过BlockReader的readFromBlock方法进行读取。根据BlockReader类型（如BlockReaderRemote或BlockReaderLocal），实际读取操作会有所不同。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

HDFS客户端读数据时，都是通过ReaderStrategy接口的方法去读的。
这个ReaderStrategy接口的目标就是：封装不同的可能的读的实现，让调用者对读策略无感知（strategy-agnostic）。

ReaderStrategy接口概览

ReaderStrategy接口定义了如下几个方法：

方法	描述
`ByteBuffer getReadBuffer()`	获取要把数据读到的Buffer
`int getTargetLength()`	获取要读的目标长度，即要读多少个字节的数据
`int readFromBlock(BlockReader blockReader)`	使用block reader从一个block里读
`int readFromBlock(BlockReader blockReader, int length)`	同上，额外增加了一个希望读的字节数length参数
`int readFromBuffer(ByteBuffer src)`	从src buffer里读或者c