spark节点启动流程

最新推荐文章于 2022-10-06 19:37:58 发布

梁-大数据开发

最新推荐文章于 2022-10-06 19:37:58 发布

阅读量421

点赞数

分类专栏： spark 文章标签： spark

本文链接：https://blog.youkuaiyun.com/weixin_43581113/article/details/113842859

版权

spark 专栏收录该内容

2 篇文章

订阅专栏

本文详细阐述了在分布式系统中构建RPC环境的过程，包括在master和worker节点上创建RPC环境和endpoint，worker节点向master注册资源信息，master在内部表中记录worker详情，并返回注册结果。此外，还涉及到了worker节点向master发送心跳维持连接的机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1通过create在master节点创建rpcenv
2通过setupendpoint在master节点创建masterendpoint
3通过create在worker节点创建rpcenv
4通过setupendpoint在woker节点创建workerendpoint
5通过setupendpointref在woker节点创建masterendpointref
6masterendpointref向masterendpoint注册包括内存cpu等
7masterendpoint在table中注册worker引用和内存cpu信息
8masterendpoint向worker返回注册结果
9masterendpointref向master不间断发送心跳信息