spark任务参数估算配置

最新推荐文章于 2025-03-24 15:04:33 发布

pete1223

最新推荐文章于 2025-03-24 15:04:33 发布

阅读量2.3k

点赞数

分类专栏： spark相关文章标签： spark big data kafka

本文链接：https://blog.youkuaiyun.com/z471365897/article/details/123170027

版权

本文介绍了Spark在Yarn上的配置原则，包括Yarn配置、内存估算和CPU利用率的观察。主要内容包括根据服务器资源确定executor数量，理解Spark内存模型，如Execution Memory、Storage Memory和User Memory，以及内存估算方法。此外，还讨论了堆外内存的意义和CPU利用率监控工具的使用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1.总体原则

1.Yarn配置

Yarn部署在单台服务器128G内存，32个核

如果一个服务器是5个核， executor-cores=5,则理论上num-executor<=6个核。5*6<=32

/hadoop-xxx/yarn-site.xml
修改yarn的运行分配的最大最小内存

yarn.scheduler.minimum-allocation-mb 
yarn.scheduler.maximum-allocation-mb

2.配置参数

driver-memory

driver端的内存消耗主要是以下内容:

1.创建小规模的分布式数据集：使用 parallelize、createDataFrame 等 API 创建数据集

2.收集计算结果：通过 take、show、collect 等算子把结果收集到 Driver 端

根据以上估算即可

下面代码是预估driver端内存的执行计划
```
val df: DataFrame = _
df.cache.count
val plan = df.queryExecution.logical
val estimated: BigInt = spark
.sessionState
.executePlan(plan)
.optimizedPlan
.stats
.sizeInBytes
```
executor-cores

1.每个executor的最大核数，一般在3-6之间比较合适.

2.Executor 中并行计算任务数的上限是