SparkSQL并行度参数设置方法

最新推荐文章于 2025-06-23 11:42:20 发布

原创最新推荐文章于 2025-06-23 11:42:20 发布 · 1.2w 阅读

8 ·

CC 4.0 BY-SA版权

文章标签：

#SparkSQL #并行度

Spark学习同时被 2 个专栏收录

12 篇文章

订阅专栏

SparkSQL

9 篇文章

订阅专栏

本文介绍了如何调整SparkSQL的并行度以优化性能。默认并行度为200，可通过代码配置或提交参数来调整。代码配置优先级高于提交参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

版权声明：未经允许，随意转载，请附上本文链接谢谢（づ￣3￣）づ╭❤～
https://blog.youkuaiyun.com/xiaoduan_/article/details/79809262

SparkSQL并行度参数设置方法

SparkSQL并行度是SparkSQL的第一个调优点，默认的并行度是200，需要根据实际情况进行设置，它有有两种设置方法，
1. 在代码中直接设定

val spark = SparkSession.builder()
      .config("spark.sql.shuffle.partitions",100)//设置并行度100
      .getOrCreate()

在提交的时候提供参数修改，注意代码中的优先级高于提交时的优先级
这里是一个例子

./bin/spark-submit \
--class com.imooc.log.TopNStatJobYARN \
--name TopNStatJobYARN \
--master yarn \
--executor-memory 1G \
--num-executors 1 \
--conf spark.sql.shuffle.partitions=100 \
/home/hadoop/lib/sql-1.0-jar-with-dependencies.jar \
hdfs://hadoop001:8020/imooc/clean 20170511