Spark任务调度与Shuffle机制
TaskShedule会向driver报告task的完成装填，DagSchedule调度根据情况(DAG保存着task之间的依赖关系)调度剩余的task
spark的shuffle过程和mr的shuffle过程相似，同时都需要落地磁盘
转载于:https://my.oschina.net/datacube/blog/760950
本文介绍了Spark中TaskScheduler和DagScheduler的工作原理，包括如何报告任务完成情况及调度剩余任务的方式。此外还对比了Spark与MapReduce的shuffle过程，并强调两者都需要使用磁盘进行操作。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
