本文深入探讨了 Spark 的核心运行机制，包括任务 (task) 的调度与执行流程、阶段 (stage) 的划分与提交机制、作业 (job) 的整体调度与运行过程，以及 Spark 的内存管理模型。通过对这些关键环节的解析，帮助读者全面理解 Spark 如何高效地处理大规模数据。
1. spark task调度和运行总结
1. task调度
https://blog.youkuaiyun.com/lipeng_bigdata/article/details/50687992
https://blog.youkuaiyun.com/lipeng_bigdata/article/details/50699939
2. task运行
https://blog.youkuaiyun.com/lipeng_bigdata/article/details/50726216
https://blog.youkuaiyun.com/lipeng_bigdata/article/details/50752101
2. spark stage的划分和提交
1. stage的划分
https://blog.youkuaiyun.com/lipeng_bigdata/article/details/50674189
2. stage的提交
https://blog.youkuaiyun.com/lipeng_bigdata/article/details/50679842
3. spark job调度和运行
https://blog.youkuaiyun.com/lipeng_bigdata/article/details/50667966
https://blog.youkuaiyun.com/lipeng_bigdata/article/details/50663569
4. spark内存模型
https://blog.youkuaiyun.com/lipeng_bigdata/article/details/50752297
扫一扫
1468
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
