RpcEnv是一个RPC环境, RpcEndPoint需要将自身注册到RpcEnv才能接收信息。RpcEnv将会处理RpcEndPointRef或远程节点发来的消息,并将消息传送给相应的RpcEndPoint.对于业务代码未捕获的的异常,RpcEnv会使用RpcCallContext.sendFailure方法将他们的发送回给发送方,或者打出日志(如果没有调用方),亦或者是NotSerializableException。
RpcEnv是一个抽象类,它只有一个属性: 默认超时时间(defaultLookupTimeout,默认120s)
RpvEnv目前只有一个实现类 - NettyRpcEnv,是我们本篇学习的主要内容。
我们先来看下RpcEnv是在什么时候创建的:
RpcEnv是在EndPoint(Master/Worker/Client)启动时创建的,这里我们列一下实现过程(截图是Master的startRpcEnvAndEndpoint方法,Master的启动过程以后会细讲):

1. EndPoint启动时创建RpcEnv:val rpcEnv = RpcEnv.create(systemName, host, port, conf, securityMgr)

2. RpcEnv.create(...)

本文详细探讨了Spark中RPC环境(RpcEnv)的作用与实现,包括RpcEnv如何通过注册RpcEndPoint来接收信息,处理异常,以及NettyRpcEnv的具体创建与初始化流程。深入分析了Dispatcher、clientFactory、TransportServer等关键组件的初始化过程。
最低0.47元/天 解锁文章
1686

被折叠的 条评论
为什么被折叠?



