【HDFS】关于HDFS-17497：在commit block时更新quota

最新推荐文章于 2024-07-23 10:22:48 发布

大数据技术部落

最新推荐文章于 2024-07-23 10:22:48 发布

阅读量255

点赞数

分类专栏： HDFS全方位实战文章标签： hdfs hadoop 大数据

本文链接：https://blog.youkuaiyun.com/yexiguafu/article/details/138715886

版权

HDFS全方位实战专栏收录该内容

191 篇文章 ¥29.90 ¥99.00

订阅专栏

该博客讨论了HDFS中一个关于HDFS-17497的改进，即在提交文件块时计算文件长度并更新配额。原来在计算文件大小时未考虑最后一个已提交块，现在通过修改BlockManager#convertToCompleteBlock方法，实现了在提交块时即时更新文件长度和quota，减少了BP层与FS层的反向依赖，为细粒度锁的实现创造了条件。此外，客户端在获取文件长度时也会考虑所有已提交块，并在提交块时直接处理quota更新。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

链接：https://github.com/apache/hadoop/pull/6765
Ticket标题：The number of bytes of the last committed block should be calculated into the file length。

HDFS里，一个在写入的文件可能包含多个commited状态的块。

但是计算文件大小的时候，最后一个commited block并没有被计算进去，但是却包含了其他的commited blocks。
如下代码：

  /**
   * Compute file size of the current file.
   * 
   * @param includesLastUcBlock
   *          If the last block is under construction, should it be included?
   * @param usePreferredBlockSize4LastUcBlock
   *          If the last block is under construction, should we use actual

了解本专栏