【Flink集群RPC通讯机制（四）】集群组件（tm、jm与rm）之间的RPC通信

最新推荐文章于 2025-03-20 09:42:41 发布

roman_日积跬步-终至千里

最新推荐文章于 2025-03-20 09:42:41 发布

阅读量1.5k

点赞数 22

分类专栏： # flink源码文章标签： flink rpc

本文链接：https://blog.youkuaiyun.com/hiliang521/article/details/136230928

版权

本文详细介绍了Flink中集群组件间如何通过RPC通信框架建立连接，如TaskManager向ResourceManager的注册过程，展示了RpcEndpoint的连接管理和心跳维护。重点讲解了TaskManager与ResourceManager之间的RPC注册和服务请求，展示了Flink对Akka的使用以及其未来的发展趋势。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

现在我们已经知道Flink中RPC通信框架的底层设计与实现，接下来通过具体的实例了解集群运行时中组件如何基于RPC通信框架构建相互之间的调用关系。

1. 集群内部通讯方法概述

通过RegisteredRpcConnection进行连接注册与通讯（维护心跳等）

当TaskExecutor启动后，会立即向ResourceManager中注册当前TaskManager的信息。同样，JobMaster组件启动后也立即会向ResourceManager注册JobMaster的信息。这些注册操作实际上就是在构建集群中各个组件之间的RPC连接，这里的注册连接在Flink中被称为RegisteredRpcConnection，集群组件之间的RPC通信都会通过创建RegisteredRpcConnection进行，例如获取RpcEndpoint对应的RpcGateway接口以及维护组件之间的心跳连接等。

如下图，集群运行时中各组件的注册连接主要如下三种RegisteredRpcConnection的实现。

JobManagerRegisteredRpcConnection：用于管理TaskManager中与JobManager之间的RPC连接。

ResourceManagerConnection：用于管理JobManager中与ResourceManager之间的RPC连接。

TaskExecutorToResourceManagerConnection：用于管理TaskExecutor中与ResourceManager之间的RPC连接。

如下图再有：

RegisteredRpcConnection提供了generateRegistration()抽象方法，主要用于生成组件之间的RPC连接，每次调用RegisteredRpcConnection.start()方法启动RegisteredRpcConnection时，都会创建新的RetryingRegistration。

不同RegisteredRpcConnection创建的RetryingRegistration也会有所不同，例如在TaskExecutorToResourceManagerConnection中就会创建ResourceManagerRegistration实例。

调用rpcService.connect(targetAddress, targetType) ，返回RpcGateway的代理对象，通过RpcGateway连接到目标RpcEndpoint上。

在RetryingRegistration中会提供invokeRegistration()抽象方法，用于实现子类的RPC注册操作。

例如在ResourceManagerRegistration中会实现invokeRegistration()方法，在方法中调用resourceManager.registerTaskExecutor()将TaskExecutor信息注册到ResourceManager中，这里的ResourceManager就是ResourceManagerGateway接口代理类。

调用onRegistrationSuccess()方法继续后续操作，例如在JobManagerRegisteredRpcConnection中会向jobLeaderListener添加当前的jobId等信息。

如果当前组件没有成功到注册至目标组件时，会调用onRegistrationFailure()抽象方法继续后续操作，包括连接重连或停止整个RpcEndpoint对应的服务。

在这里插入图片描述

接着以TaskManager向ResourceManager注册RPC服务为例，介绍整个RPC连接的注册过程。

2. TaskManager向ResourceManager注册RPC服务

TaskManager向ResourceManager注册RPC服务的过程如图所示。
在这里插入图片描述

TaskExecutor节点正常启动后，调用RpcEndpoint.onStart()方法初始化并启动TaskExecutor组件的内部服务。

创建监听服务

TaskExecutor调用resourceManagerLeaderRetriever.start()方法，启动ResourceManager组件领导节点的监听服务并传入ResourceManagerLeaderListener，用于监听ResourceManager的领导节点的变化情况。

当ResourceManagerLeaderListener接收到来自ResourceManager的leaderAddress以及leaderSessionID的信息后，调用notifyOfNewResourceManagerLeader()方法通知TaskExecutor和新的ResourceManagerLeader建立RPC连接。

创建与ResourceManager组件的RPC网络连接

a. 调用TaskExecutor.reconnectToResourceManager()内部方法，创建与ResourceManager组件之间的RPC网络连接。
b. 在reconnectToResourceManager()方法中会事先调用closeResourceManagerConnection()方法关闭之前的ResourceManager连接，然后依次调用tryConnectToResourceManager()和connectToResourceManager()方法创建与ResourceManager节点的RPC连接。

创建TaskExecutorRegistration对象

在connectToResourceManager()方法中会创建TaskExecutorRegistration对象，用于存储TaskManager的注册信息，其中包括taskExecutorAddress、resourceId以及dataPort等连接信息，同时还包含hardwareDescription、defaultSlotResourceProfile以及totalResourceProfile等资源描述信息。

正式建立网络连接

创建TaskExecutorToResourceManagerConnection实例，正式与ResourceManager建立RPC网络连接，同时调用TaskExecutorToResourceManagerConnection.start()方法启动RPC连接。实际上调用的是RegisteredRpcConnection.start()方法。

创建新的创建新的Registration与其他组件的RPC连接

在RegisteredRpcConnection中会调用内部方法createNewRegistration()创建新的Registration。而在createNewRegistration()方法中会调用generateRegistration()子类方法，创建与其他组件之间的RPC连接。这里主要调用的是TaskExecutorToResourceManagerConnection.generateRegistration()方法。

调用RetryingRegistration.startRegistration()方法注册具体的RPC连接，实际上会调用AkkaRpcService.connect()方法创建并获取ResourceManager对应的RpcGateway接口。

调用ResourceManagerGateway.registerTaskExecutor()方法，最终完成在ResourceManager中注册TaskManager的操作。创建的TaskExecutorRegistration同时会传递给ResourceManager。

当ResourceManager接收到TaskManager的注册信息后，会在本地维护TaskManager的注册信息，并建立与TaskManager组件之间的心跳连接，至此完成了TaskManager启动后向ResourceManager进行RPC网络连接注册的全部流程。

如代码所示

TaskExecutor.connectToResourceManager()方法中首先会创建TaskExecutorRegistration注册信息和TaskExecutorToResourceManagerConnection对象。

然后调用TaskExecutorToResourceManagerConnection.start()方法启动TaskManager和ResourceManager之间的RPC注册连接。

private void connectToResourceManager() {
   
   assert(resourceManagerAddress != null);
   assert(establishedResourceManagerConnection == null);
   assert(resourceManagerConnection == null);
   log.info("Connecting to ResourceManager {}.", resourceManagerAddress);
   // TaskExecutor注册信息
   final TaskExecutorRegistration taskExecutorRegistration = 
       new TaskExecutorRegistration(
      getAddress(),
      getResourceID