AnQ17的专栏

Spark的调度模块分：DAGScheduler和TaskScheduler。（一） DAGScheduler模块：主要负责分析用户提交的应用，并根据计算任务的依赖关系建立DAG，然后将DAG划分为不同的Stage（阶段），其中每一个Stage都是由可以并发的一组Task组成，每一个阶段的Task执行逻辑完全相同，只是作用于不同的数据上罢了。DAGScheduler将每一阶段的Task

Spark History Server：在运行Spark Application的时候，Spark会提供一个WEBUI列出应用程序的运行时信息；但该WEBUI随着Application的完成(成功/失败)而关闭，也就是说，Spark Application运行完(成功/失败)后，将无法查看Application的历史记录。        Spark history Serve