
spark
文章平均质量分 92
spark
源码挖掘机
这个作者很懒,什么都没留下…
展开
-
Spark源码 -- Stage的切分
该方法中主要做了一下几件事:1.创建resultStage,stage分为resultStage和shuffleMapStage2.提交stage。原创 2023-10-30 21:53:55 · 260 阅读 · 1 评论 -
Spark 作业提交流程源码分析
因为我们的环境是yarn-cluster环境,YarnClusterApplication继承了SparkApplication,所以上一步启动SparkApplication就会启动YarnClusterApplication,我们接下来看一下它的start方法,该方法中new了一个client对象后并调用它的run方法。这个方法中调用了submitApplication方法,返回一个appId,后面是对appId的相关判断和操作,所以下面我们可以看看submitApplication方法做了那些操作。原创 2023-10-20 14:06:27 · 1170 阅读 · 0 评论