Spark-SQL常用调优参数汇总

最新推荐文章于 2025-04-02 01:42:19 发布

金戈拉斯

最新推荐文章于 2025-04-02 01:42:19 发布

阅读量3.7k

点赞数 3

分类专栏：学习笔记 SparkSQL 文章标签： spark 性能调优参数

本文链接：https://blog.youkuaiyun.com/maizi1045/article/details/90319855

版权

本文汇总了Spark SQL在日常工作中常用的性能调优参数，包括其含义和作用，帮助优化查询效率。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本文主要是日常工作的积累，主要是简单罗列了常见的spark SQL的参数及其含义。

#Job ID /Name
spark.app.name=xxx

#yarn 进行调度，也可以是mesos，yarn，以及standalone

#一个spark application，是一个spark应用。一个应用对应且仅对应一个sparkContext。每一个应用，运行一组独立的executor processes。一个应用，可以以多线程的方式提交多个作业job。spark可以运行在多种集群管理器上如：mesos，yarn，以及standalone，每种集群管理器都会提供跨应用的资源调度策略。
spark.master=yarn

#激活外部shuffle服务。服务维护executor写的文件，因而executor可以被安全移除。
#需要设置spark.dynamicAllocation.enabled 为true，同事指定外部shuffle服务。
#对shuffle来说，executor现将自己的map输出写入到磁盘，然后，自己作为一个server，向其他executor提供这些map输出文件的数据。而动态资源调度将executor返还给集群后，