进一步有一步的欢喜

spark的调度包括资源调度和任务调度两种。前面介绍过spark的任务调度包括DAGScheduler&TaskScheduler，本文主要介绍资源调度，包括资源调度中涉及的各模块以及它们之间的通信。 Spark中物理节点包括三者，分别是client、master&worker，而与资源调度相关的角色有四个，分别是driver、master、worker和executor。这几个节点与角

DAGScheduler将任务提交到TaskScheduler之后，接下来由TaskScheduler负责任务的调度。 TaskScheduler是一个trait（接口类），它的实现类是TaskSchedulerImpl。具体内容包括： 1、出现shuffle输出lost要报告fetch failed错误 2、碰到straggle任务需要放到别的节点上重试 3、为每个TaskSet

总结一下工作中遇到一次spark写入hbase的超时问题。 业务场景是将kafka等数据源采集上来的用户日志数据经spark汇聚到hbase，然后再读出来供排序、算法评分等业务使用。先前使用时并未出现超时问题，但最近突然就出现了写入超时，下图中是spark任务调度ui页面，可以看出多个写入任务的时延明显增长。 最一开始是怀疑hbase集群出现问题，于是查找各个regionser