本文详细探讨了Spark中RPC环境(RpcEnv)的作用与实现，包括RpcEnv如何通过注册RpcEndPoint来接收信息，处理异常，以及NettyRpcEnv的具体创建与初始化流程。深入分析了Dispatcher、clientFactory、TransportServer等关键组件的初始化过程。
RpcEnv是一个RPC环境， RpcEndPoint需要将自身注册到RpcEnv才能接收信息。RpcEnv将会处理RpcEndPointRef或远程节点发来的消息，并将消息传送给相应的RpcEndPoint.对于业务代码未捕获的的异常，RpcEnv会使用RpcCallContext.sendFailure方法将他们的发送回给发送方，或者打出日志（如果没有调用方），亦或者是NotSerializableException。
RpcEnv是一个抽象类，它只有一个属性: 默认超时时间(defaultLookupTimeout，默认120s)
RpvEnv目前只有一个实现类 - NettyRpcEnv，是我们本篇学习的主要内容。
我们先来看下RpcEnv是在什么时候创建的：
RpcEnv是在EndPoint(Master/Worker/Client)启动时创建的，这里我们列一下实现过程(截图是Master的startRpcEnvAndEndpoint方法，Master的启动过程以后会细讲)：
1. EndPoint启动时创建RpcEnv:val rpcEnv = RpcEnv.create(systemName, host, port, conf, securityMgr)
2. RpcEnv.create(...)
最低0.47元/天 解锁文章
扫一扫
1686
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
