SparkEnv的方法createDriverEnv最终调用create创建SparkEnv。SparkEnv的构造步骤如下:
1) 创建安全管理器SecurityManager;
2) 创建基于Akka的分布式消息系统ActorSystem;
3) 创建Map任务输出跟踪器mapOutputTracker;
4) 实例化ShuffleManager;
5) 创建ShuffleMemoryManager;
6) 创建块传输服务BlockTransferService;
7) 创建BlockManagerMaster;
8) 创建块管理器BlockManager;
9) 创建广播管理器BroadcastManager;
10) 创建缓存管理器CacheManager;
11) 创建HTTP文件服务器HttpFileServer;
12) 创建测量系统MetricsSystem;
13) 创建SparkEnv;
sparkEnv初始化流程
最新推荐文章于 2022-07-18 09:41:28 发布
本文详细介绍SparkEnv构造过程,包括安全管理器、ActorSystem等关键组件的创建。这些组件为Spark应用程序提供必要的运行时环境。
847

被折叠的 条评论
为什么被折叠?



