Spark作业调度类型

最新推荐文章于 2023-02-12 10:34:43 发布

原创最新推荐文章于 2023-02-12 10:34:43 发布 · 398 阅读

0 ·

CC 4.0 BY-SA版权

spark 专栏收录该内容

8 篇文章

订阅专栏

本文深入解析Spark的作业调度机制，包括默认的FIFO（先进先出）和FAIR（公平轮询）两种模式。FIFO确保了作业按提交顺序执行，而FAIR则通过轮询方式确保所有作业获得平等的资源分配，特别适合多用户环境。

Spark作业调度

Spark 作业的意思是一个 Spark 动作以及执行该动作的所需要启动的任务。 Spark 的调度是完全
线程安全的，使应用程序支持多个请求。

FIFO

默认情况下， Spark 遵循 FIFO（先进先出）方式调度作业。Master负责集群资源管理和调度，线启动等待列表中应用程序的Driver，并尽可能分散在集群的Worker上，根据将集群资源按先来先分配原则进行分配，先分配的程序会更多的获得满足条件的资源，后分的只能在剩余资源中获取，如果没有合适资源则只能等待，直到其他应用程序释放资源。

private def schedule(): Unit = {
    if (state != RecoveryState.ALIVE) {
      return
    }
    // Drivers take strict precedence over executors
    val shuffledAliveWorkers = Random.shuffle(workers.toSeq.filter(_.state == WorkerState.ALIVE))
    val numWorkersAlive = shuffledAliveWorkers.size
    var curPos = 0
    for (driver <- waitingDrivers.toList) { // iterate over a copy of waitingDrivers
    // We assign workers to each waiting driver in a round-robin fashion. For each driver, we
    // start from the last worker that was assigned a driver, and continue onwards until we have
    // explored all alive workers.
    var launched = false
    var numWorkersVisited = 0
    while (numWorkersVisited < numWorkersAlive && !launched) {
      val worker = shuffledAliveWorkers(curPos)
      numWorkersVisited += 1
      if (worker.memoryFree >= driver.desc.mem && worker.coresFree >= driver.desc.cores) {
        launchDriver(worker, driver)
        waitingDrivers -= driver
        launched = true
      }
        curPos = (curPos + 1) % numWorkersAlive
      }
    }
    startExecutorsOnWorkers()
}