32、Spark运行与配置全解析

Spark运行与配置全解析

1. 数据本地性考量

数据本地性指的是Spark会尝试将任务尽可能地安排在离数据存储位置近的地方执行。这会影响执行器的选择，与作业调度密切相关。

1.1 首选位置列表

Spark会为每个分区维护一个首选位置列表。对于基于HDFS数据的RDD（HadoopRDD）和缓存的RDD，Spark可以获取到分区数据所在的主机名或执行器信息，从而将计算移动到离数据更近的地方。
- 基于HDFS数据的RDD：通过Hadoop API从HDFS集群获取信息。
- 缓存的RDD：Spark自身会跟踪每个分区缓存所在的执行器。

1.2 数据本地性级别

Spark有五种数据本地性级别：
| 本地性级别 | 描述 |
| — | — |
| PROCESS_LOCAL | 在缓存分区的执行器上执行任务 |
| NODE_LOCAL | 在分区可用的节点上执行任务 |
| RACK_LOCAL | 如果集群中有机架信息（目前仅在YARN上），在与分区相同的机架上执行任务 |
| NO_PREF | 任务没有首选位置 |
| ANY | 如果其他情况都失败，作为默认选项 |

1.3 调度等待时间

当无法获取到具有最佳本地性的任务槽时，调度器会等待一段时间，然后尝试次优本地性的位置，以此类推。调度器在每个本地性级别等待的时间由 spark.locality.wait 参数决定，默认值为30秒。你还可以通过 spark.locality.wait.process