【HDFS】如果文件的lastblock的最后一个chunk不满512字节，会生成checksum么？

大数据技术部落

已于 2023-12-19 14:27:42 修改

阅读量447

点赞数 7

分类专栏： HDFS全方位实战文章标签： hdfs hadoop 大数据

于 2023-12-19 14:26:43 首次发布

本文链接：https://blog.youkuaiyun.com/yexiguafu/article/details/135083989

版权

HDFS全方位实战专栏收录该内容

191 篇文章 ¥29.90 ¥99.00

订阅专栏

当HDFS文件的最后一个block的最后一个chunk不足512字节时，仍会生成checksum。客户端在发送数据前为每个chunk生成4字节checksum，即使不满也会生成。关键方法涉及flushBuffer，其参数keep和flushPartial影响处理不完整chunk的方式。若flushPartial为true，不完整chunk可能分两次发送，DataNode会根据实际情况处理。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

如题，本文试图弄清楚这样一个问题：
如果文件的最后一个block的最后一个chunk里的数据不足512字节，那么还会为其生成checksum么？

先给出答案：会生成。接着我们再去探究过程。

客户端在发送数据之前，为每一个chunk生成4字节的checksum。如果不满一个chunk，也是会生成4字节的checksum的。
相关代码在FSOutputSummer#writeChecksumChunks方法里：

此方法作用是为给定data chunks 生成checksum，然后输出chunks&checksum。
此方法调用点有：write1、flushBuffer。

  /** Generate checksums for the given data chunks and output chunks & checksums
   * to the underlying output stream.
   */
  private void writeChecksumChunks