spark结合mysql性能优化_Spark性能优化：资源调优篇

最新推荐文章于 2025-04-23 11:03:48 发布

weixin_39707597

最新推荐文章于 2025-04-23 11:03:48 发布

阅读量141

点赞数

文章标签： spark结合mysql性能优化

本文链接：https://blog.youkuaiyun.com/weixin_39707597/article/details/113999679

版权

本文详细介绍了Spark作业的基本运行原理，包括Driver进程、Executor进程、Stage划分、Shuffle过程以及持久化操作。重点讲解了资源参数调优，如`num-executors`、`executor-memory`、`executor-cores`、`driver-memory`、`spark.default.parallelism`、`spark.storage.memoryFraction`和`spark.shuffle.memoryFraction`，并提供了调优建议和参考值，帮助提升Spark作业执行性能。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

在开发完

Spark作业基本运行原理

详细原理见上图。我们使用spark-submit提交一个Spark作业之后，这个作业就会启动一个对应的Driver进程。根据你使用的部署模式(deploy-mode)不同，Driver进程可能在本地启动，也可能在集群中某个工作节点上启动。Driver进程本身会根据我们设置的参数，占有一定数量的内存和CPU core。而Driver进程要做的第一件事情，就是向集群管理器(可以是Spark Standalone集群，也可以是其他的资源管理集群，美团•大众点评使用的是YARN作为资源管理集群)申请运行Spark作业需要使用的资源，这里的资源指的就是Executor进程。YARN集群管理器会根据我们为Spark作业设置的资源参数，在各个工作节点上，启动一定数量的Executor进程，每个Executor进程都占有一定数量的内存和CPU core。

在申请到了作业执行所需的资源之后，Driver进程就会开始调度和执行我们编写的作业代码了。Driver进程会将我们编写的Spark作业代码分拆为多个stage，每个stage执行一部分代码片段，并为每个stage创建一批task，然后将这些task分配到各个Executor进程中执行。task是最小的计算单元，负责执行一模一样的计算逻辑(也就是我们自己编写的某个代码片段)，只是每个task处理的数据不同而已。一个stage的所有task都执行完毕之后，会在各个节点本地的磁盘文件中写入计算中间结果，然后Driver就会调度运行下