jackson0415的博客

主要内容： DAGScheduler的官方注释 DAGScheduler的创建 Job的提交处理与Stage的划分 官方注释 The high-level scheduling layer that implements stage-oriented scheduling. It computes a DAG of stages for each job, keeps track of wh...

Spark Rpc 概念 Spark RPC 在1.6版本是默认基于Netty实现。主要的组件包含 RpcEnv ：其实就是一个RPC的环境。 对于server side来说，RpcEnv是RpcEndpoint的运行环境。 对client side来说，通过RpcEnv可以获取RpcEndpoint引用，也就是RpcEndpointRef。 RpcEnv最常用的两个方法如下： 1） // 注册...

同master一样，worker节点本身也是RpcEndPoint，继承自ThreadSafeRpcEndpoint类，接下来根据源码认识下worker节点的启动过程。 private[deploy] class Worker( override val rpcEnv: RpcEnv, webUiPort: Int, cores: Int, memory: Int,...