【HDFS】一天一个RPC系列--updateBlockForPipeline

大数据技术部落

于 2024-01-27 21:09:22 发布

阅读量735

点赞数 4

分类专栏： HDFS全方位实战文章标签： hdfs rpc hadoop

本文链接：https://blog.youkuaiyun.com/yexiguafu/article/details/135885814

版权

HDFS全方位实战专栏收录该内容

191 篇文章 ¥29.90 ¥99.00

订阅专栏

本文详细介绍了HDFS中RPC接口`updateBlockForPipeline`的作用和使用场景。该RPC主要用于更新正在建设中的block的GS和access token，常在客户端恢复失败的pipeline或建立append pipeline时调用。讲解了`updateBlockForPipeline`在NameNode的实现，以及在不同副本策略下的`newLocatedBlock`方法。同时，文中列举了该RPC在客户端的两个主要调用点：EC条带输出流和DataStreamer的`setupPipelineInternal`方法，并分析了它们在错误恢复和append场景中的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文目标是：

弄清updateBlockForPipeline这个RPC的作用。
弄清updateBlockForPipeline RPC的使用场景，代码里的调用点。

一、updateBlockForPipeline的作用

其定义在ClientProtocol接口里，是Client与NameNode之间的接口。

看其代码注释描述：
为一个under construction状态下的block获取一个新的GS与access token。
此RPC只有在client需要恢复一个失败的pipeline时、或者为了append建立一个pipeline时会被调用。

  /**
   * Get a new generation stamp together with an access token for
   * a block under construction
   *
   * This method is called only when a client needs to recover a failed
   * pipeline or set up a pipeline for appending to a block.
   *
   * @param block a block
   * @param clientName the name o

了解本专栏