Spark 之 standalone 模式多个application(作业)资源调度

探讨Spark Standalone集群默认的FIFO调度策略及其对多作业执行的影响,介绍如何通过调整spark.cores.max参数实现多作业并行运行,包括三种配置方法:SparkConf、spark-submit与spark-env.sh。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

目录

  • 1、默认情况
  • 2、修改配置

1、默认情况

       standalone集群对于同时提交上来的多个作业,仅仅支持FIFO调度策略,也就是先入先出;默认情况下,集群对多个作业同时执行的支持是不好的,没有办法同时执行多个作业;因为先提交上来的每一个作业都会尝试使用集群中所有可用的cpu资源,此时相当于就是只能支持作业串行起来,一个一个运行了。

2、修改配置

      我们希望能够支持多作业同时运行,那么就需要调整一下资源参数,我们可以设置spark.cores.max参数,来限制每个作业能够使用的最大的cpu core数量,这样先提交上来的作业不会使用所有的cpu资源,后面提交上来的作业就可以获取到资源,也可以同时并行运行了。可以通过设置全局的一个参数,让每个作业最多只能获取到一部分cpu core资源,那么后面提交上来的作业,就也可以获取到一部分资源,standalone集群才可以支持同时执行多个作业。

方式一:

使用SparkConf或spark-submit中的--conf标识,设置参数即可;

SparkConf conf = new SparkConf()
        .set("spark.cores.max", "10")

通常不建议使用SparkConf,硬编码,来设置一些属性,不够灵活。

方式二:

建议使用spark-submit来设置属性

--conf spark.cores.max=10

方式三:

通过spark-env.sh配置每个application默认能使用的最大cpu数量来进行限制,默认是无限大,此时就不需要每个application都自己手动设置了,在spark-env.sh中配置spark.deploy.defaultCores即可。
比如说: export SPARK_MASTER_OPTS="-Dspark.deploy.defaultCores=10"

### Apache Spark 资源调度流程详解 #### 1. 集群管理器的角色与功能 在Apache Spark中,资源调度依赖于集群管理器(Cluster Manager),其主要职责在于管理和分配计算节点上的资源给各个应用程序。支持多种类型的集群管理器,包括Standalone、YARN、Mesos以及Kubernetes等[^3]。 #### 2. 应用程序提交过程 当通过`spark-submit`命令提交一个应用时,会指定相应的参数来配置运行环境,比如执行模式(`--deploy-mode`)可以设置为client或cluster两种方式之一[^2]。对于Cluster模式而言,在启动Application Master之前不会有任何Executor被创建;而Client模式下则是在本地直接发起Driver进程并立即请求Executors。 #### 3. Application Master的作用 一旦选择了Cluster部署模式,则会在ResourceManager处注册一个新的ApplicationMaster实例负责协调整个作业生命周期内的所有活动。它向ResourceManager申请容器(Container)用于承载后续产生的Executors,并监控这些组件的状态变化直至完成全部工作负载为止。 #### 4. Executor的获取与释放 随着任务需求的增长,AM持续不断地向RM发出新的Container请求直到满足当前Stage所需数量为止。每个获得批准后的Container都会在其内部启动一个对应的Executor进程专门用来执行具体的Task操作。当某个阶段结束之后不再需要那么多计算能力的时候,多余的Executors会被优雅地终止从而腾出更多可用空间供其他待处理的任务使用。 #### 5. 动态资源调整策略 为了更好地适应不同应用场景下的性能优化目标,Spark还提供了动态分配特性允许根据实际负载情况自动增减参与运算的工作单元数目。这一机制能够有效提高系统的灵活性和效率,减少不必要的等待时间浪费的同时也降低了整体成本开销。 ```bash # 使用spark-submit提交带有动态资源配置的应用示例 $ bin/spark-submit \ --conf "spark.dynamicAllocation.enabled=true" \ --conf "spark.shuffle.service.enabled=true" \ your-application-jar-file.jar ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值