Spark启动过程
正常启动Spark集群时往往使用start-all.sh ,此脚本中通过调用start-master.sh和start-slaves.sh启动mater及workers节点。
1、启动Master
(1)注册SignalLogger日志记录器
(2)创建名称为master的Actor 并启动,在启动master之前会:
a). 加载Spark环境变量
b). 创建workers、apps、drivers等例表,用于记录相关信息
c). 创建WebUi
d). 创建及启动MetricsSystem用于监控系统状态
e). 定期
正常启动Spark集群时往往使用start-all.sh ,此脚本中通过调用start-master.sh和start-slaves.sh启动mater及workers节点。
1、启动Master
(1)注册SignalLogger日志记录器
(2)创建名称为master的Actor 并启动,在启动master之前会:
a). 加载Spark环境变量
b). 创建workers、apps、drivers等例表,用于记录相关信息
c). 创建WebUi
d). 创建及启动MetricsSystem用于监控系统状态
e). 定期