SparkCore — Master资源调度,启动Executor

本文深入分析了Spark中Master如何分配资源给worker,以及在worker上启动executor的详细过程。从资源分配到启动消息发送,全面解读Spark任务执行机制。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 上一篇文章讲解了Master的资源调度算法,对每个可用worker分配完资源之后,下面就需要在每个worker上启动相应的executor了,下面对源码进行分析:

// 给每个worker分配完资源给application之后
// 遍历每个worker节点
for (pos <- 0 until usableWorkers.length if assignedCores(pos) > 0) {
  // 将worker资源分配给executor,并发送executor启动消息给worker
  allocateWorkerResourceToExecutors(
    app, assignedCores(pos), coresPerExecutor, usableWorkers(pos))
}

 上面代码中,cpu core以及内存资源资源分配完给Application之后,开始在各个worker上分配executor。下面分析allocateWorkerResourceToExecutors()方法:

private def allocateWorkerResourceToExecutors(
      app: ApplicationInfo,
      assignedCores: Int,
      coresPerExecutor: Option[Int],
      worker: WorkerInfo): Unit = {
    // 计算这个worker可以分配多少个executor,assignedCores >= coresPerExecutor,也就是至少分配一个executor。
    // 这里分配的最小单位是 coresPerExecutor
    val numExecutors = coresPerExecutor.map { assignedCores / _ }.getOrElse(1)
    // 每个executor要分配的core
    val coresToAssign = coresPerExecutor.getOrElse(assignedCores)
    // 遍历每个executor
    for (i <- 1 to numExecutors) {
      // 给app添加一个executor,封装为一个ExecutorDesc,里面包含了executorID、worker信息
      // cpu core、每个executor占用的内存 
      val exec = app.addExecutor(worker, coresToAssign)
      // 启动executor
      launchExecutor(worker, exec)
      // 设置app的状态为running
      app.state = ApplicationState.RUNNING
    }
  }

 根据每个worker分配的cores数量assignedCores ,计算出当前worker分配几个executor,最少分配一个,注意这里分配的最小单位是 coresPerExecutor,也就是spark-submit脚本中设置的–executor-cores大小。 接着启动executor。

private def launchExecutor(worker: WorkerInfo, exec: ExecutorDesc): Unit = {
    logInfo("Launching executor " + exec.fullId + " on worker " + worker.id)
    // 将executor加入worker内部的缓存
    worker.addExecutor(exec)
    // 向worker发送LaunchExecutor消息
    worker.endpoint.send(LaunchExecutor(masterUrl,
      exec.application.id, exec.id, exec.application.desc, exec.cores, exec.memory))

    // 向executor对应的application的Driver发送ExecutorAdded的消息
    exec.application.driver.send(
      ExecutorAdded(exec.id, worker.id, worker.hostPort, exec.cores, exec.memory))
  }

 上面代码中可以看出,给worker分配好executor资源之后,就向对应的worker发送启动executor的消息,以及向executor对应Application的Driver发送ExecutorAdded的消息。
 这就和之前一篇Spark内核架构图对上了,AppClient向Master注册Application,Master接收到这个信息后,先返回接收到的Application注册信息,接着进行资源调度,Driver资源调度完成会发送消息给worker节点启动Driver;接着分配完worker节点上的executor,发送消息给worker启动executor,并且发送executor信息给Driver。

### Apache Spark Core 功能介绍 #### 核心功能概述 Spark Core 是整个 Apache Spark 生态系统的基石,它提供了一系列基础的功能和服务,使得其他高级组件能够高效运行。其主要职责包括任务调度、内存管理、容错机制以及分布式存储的支持[^1]。 - **任务调度**:通过高效的 DAG 调度器(Directed Acyclic Graph Scheduler),Spark Core 可以优化复杂的工作负载,减少中间数据的写入操作,从而提升性能。 - **内存管理**:Spark 提供了一种先进的内存管理系统,允许数据在内存中缓存和重用,这对于迭代型算法尤为重要[^2]。 - **容错机制**:借助 RDD 的特性,即使部分节点发生故障,也可以通过重新计算丢失的数据分区来恢复作业状态。 #### 弹性分布式数据集 (RDD) RDD 是 Spark 中的核心抽象概念之一,代表了一个不可变的、分布式的对象集合。开发者可以通过定义转换操作(Transformation)和行动操作(Action)来操控这些数据集。以下是几个常见的 API 方法: - `map(func)`:将输入项逐一映射到新的输出项上。 - `filter(func)`:筛选满足条件的元素形成新集合。 - `reduce(func)`:聚合所有元素的结果返回单一值。 下面是一个简单的例子展示如何利用 Python 编程语言中的 PySpark 来创建并操作 RDD: ```python from pyspark import SparkContext sc = SparkContext("local", "WordCount Example") data = ["hello world", "this is a test"] rdd = sc.parallelize(data) word_counts = rdd.flatMap(lambda line: line.split()) \ .map(lambda word: (word, 1)) \ .reduceByKey(lambda a, b: a + b) print(word_counts.collect()) ``` 此脚本会统计给定字符串列表里每个单词出现次数。 #### 配置与部署方式 当考虑实际生产环境下的应用时,合理配置参数对于发挥 Spark 性能至关重要。如果计划让 Spark 和 Hadoop YARN 协同工作,则需调整如下选项[^3]: | 参数名 | 描述 | |-----------------------|-------------------------| | spark.master | 设为主机地址为 'yarn' | | spark.submit.deployMode | 使用 'cluster' 或者 'client'| | spark.executor.memory | 执行程序可用的最大 RAM 数量 | | spark.executor.instances | 并行执行的任务数量 | 以上只是其中一部分可能涉及的关键属性;具体数值应依据硬件资源状况而设定。 --- ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值