【HDFS-Client】FSOutputSummer#write1方法的细节

大数据技术部落

于 2023-12-20 00:21:20 发布

阅读量388

点赞数 8

分类专栏： HDFS全方位实战文章标签： hdfs hadoop 大数据

本文链接：https://blog.youkuaiyun.com/yexiguafu/article/details/135097446

版权

HDFS全方位实战专栏收录该内容

191 篇文章 ¥29.90 ¥99.00

订阅专栏

本文详细解析了HDFS客户端FSOutputSummer#write1方法的四个关键细节，包括如何处理空缓存、填充缓冲区、何时触发flush及返回值的含义，揭示了数据写入过程中的效率优化策略。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

有些代码初次阅读并不能看出其中的处理细节，但是当过一段时间对这个部分熟悉了之后再来阅读，就能发现并体会其中的细节。

本文说一下FSOutputSummer#write1的细节。

细节①：当local buffer为empty并且此次write1要写的数据长度len > buf.length时，直接计算buf.length个数个字节的checksum并把这些数据发送到底层流。不用再做System.arraycopy到buf里了。返回值就是buf.length，即这次write1真实处理了多少数据字节。

  /**
   * Write a portion of an array, flushing to the underlying
   * stream at most once if necessary.
   */
  private int write1(byte b[]

了解本专栏