本文深入探讨Spark的运行机制，从提交、driver、DAGScheduler、application、job、stage及其内部逻辑等方面展开，解答了关于Spark中job划分、stage类型、task数量等疑问，并揭示了shuffle操作的实现和DAG的规划。通过对Spark源码的阅读，作者对Spark的工作原理有了更清晰的理解。
学习过程中，看过很多讲作业提交和任务调度的原理，包括中英文版本，知道个大概，但有些细的东西总感觉不清晰，
比如drvier程序具体是什么？
一个application有多个job，每个action动作会触发一个job，为什么？
一个job内有多个stage，如何划分？stage有不同类型么？
一个stage内的task数量如何确定？
task具体是什么？
什么是shuffle map任务？shuffle操作具体怎么实现的？
什么是result map任务？
数据集存储中内存中，具体哪些数据在内存中，哪些不在内存中？
带着如上诸多疑问，尝试着去阅读spark的源码。接触scala不久，其语法感觉还是有点不好理解，很多语法细节不明了，忽略之，直接看核心逻辑。1天下来，虽然只看了一小部分，但明显的有豁然开朗的感觉，一下子明白了很多原理，明白了很多原来如此。现将了解到了记录下来，加深记忆，同时便于以后复习，或者纠正。
提交
spark-submit命令其实是一个shell脚本，它的作用主要包括加载和设置环境变量，启动main主类，即启动org.apache.
最低0.47元/天 解锁文章
扫一扫
1565
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
