Spark集群启动通讯原理简单解析

 

（1）start-all.sh脚本，实际是执行“java -cp Master”和“java -cp Worker”；

（2）Master启动时首先创建一个RpcEnv对象，负责管理所有通信逻辑；

（3）Master通过RpcEnv对象创建一个Endpoint，Master就是一个Endpoint，Worker可以与其进行通信；

（4）Worker启动时也是创建一个RpcEnv对象；

（5）Worker通过RpcEnv对象创建一个Endpoint；

（6）Worker通过RpcEnv对象建立到Master的连接，获取到一个RpcEndpointRef对象，通过该对象可以与Master通信；

（7）Worker向Master注册，注册内容包括主机名、端口、CPU Core数量、内存数量；

（8）Master接收到Worker的注册，将注册信息维护在内存中的Table中，其中还包含了一个到Worker的RpcEndpointRef对象引用；

（9）Master回复Worker已经接收到注册，告知Worker已经注册成功；

（10）Worker端收到成功注册响应后，开始周期性向Master发送心跳。