Spark 面试题（十六）

1. 简述Spark运行时并行度的设置 ？

在Spark中，“并行度”（Parallelism）通常指的是作业中同时执行的任务数量。这个数量决定了在任何给定时间可以有多少任务并发运行，进而影响作业的执行效率和资源利用。以下是设置Spark运行时并行度的一些关键点：

1. 默认并行度：

   • 如果没有明确设置，Spark会根据集群的资源情况和输入数据的分区数来决定并行度。

2. 设置分区数：

   • 可以通过repartition()或coalesce()转换操作来增加或减少RDD的分区数，这将影响后续操作的并行度。

3. 全局配置：

   • 使用spark.default.parallelism配置项设置所有操作的默认并行度。这个值作为所有没有指定并行度的操作的并行度。

4. 操作级别的并行度：

   • 对于某些操作，如reduceByKey、aggregateByKey或join，可以通过设置numPartitions参数来指定特定操作的并行度。

5. DataFrame和Dataset API：

   • 在使用DataFrame或Dataset API时，可以通过spark.sql.shuffle.partitions配置项来设置默认的并行度。

6. 动态分配：

   • 如果启用了动态资源分配（通过设置spark.dynamicAllocation.enabled），Spark会根据作业需求和集群资源动态调整Executor的数量，从而影响并行度。

7. 内存和CPU考虑：

   • 设置并行度时需要考虑集群的内存和CPU资源。过多的并发任务可能会导致资源竞争和浪费。

8. 数据本地性：

   • Spark会尽量将任务分配到其数据所在的节点上，以提高数据本地性。并行度的设置应考虑数据的物理分布。

9. 任务大小：

   • 任务的大小也会影响并行度的设置。对于大型任务，可能需要更多的分区来提高并行度；对于小型任务，过高的并行度可能会导致资源浪费。

10. 调试和监控：

    • 使用Spark的监控工具（如Spark UI）来观察并行度对作业性能的影响，并根据需要进行调整。

并行度的设置需要根据具体的作业需求、数据特性和集群资源进行综合考虑。合理的并行度设置可以提高作业的执行效率，减少资源浪费，并优化性能。

2. 简述Spark SQL的数据倾斜解决方案 ？

数据倾斜是Spark SQL中常见的问题，通常发生在某些特定的键（key）上的数据量远大于其他键，导致部分Executor处理的数据量巨大，而其他Executor则相对空闲。这种情况可能会导致作业执行缓慢，甚至失败。以下是一些常见的解决方案：

1. 重新分区（Repartition）：

   • 使用repartition()方法增加分区数，或使用coalesce()方法减少分区数（如果数据量确实不大），以更均匀地分布数据。

2. 自定义分区器：

   • 实现自定义的分区器，以更均匀地分配数据到不同的分区，减少数据倾斜。

3. 过滤数据：

   • 在进行聚合之前，过滤掉导致倾斜的极端值或异常数据。

4. 使用随机前缀：

   • 对于倾斜的键，可以添加随机前缀，然后进行聚合，最后去除前缀以获取正确的结果。

5. 调整spark.sql.shuffle.partiti