超级会员免费看
本文详细介绍了Spark on YARN模式下的内存配置，包括Executor的Storage Memory和Shuffle Memory。讲解了Storage Memory用于缓存RDD和DataFrame，其大小受`spark.storage.memoryFraction`和`spark.storage.safetyFraction`影响。Shuffle Memory用于shuffle过程，其默认大小为Executor内存的一部分。此外，还阐述了如何计算Spark应用申请的总内存值，以及内存分配策略。
Spark基本概念
在讲解Spark作业memory使用前，确保理解以下Spark 基本概念：
- Application： 基于Spark的用户程序，包含了一个driver program 和 集群中多个的executor
- Driver：运行Application的main()函数并且创建SparkContext，通常用SparkContext代表Driver Program
- Executor： 是为某Application运行在worker node上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上。每个Application都有各自独立的executors。
- Task： 被送到某个executor上的工作单元
- RDD：Spark的基本计算单元，可以通过一系列算子进行操作
Spark on Yarn 运行模式及线上配置
Spark on YARN的运行架构图：
Spark on YARN模式下，每一个Spark Executor将作为一个YARN Container运行。<
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
