17、Spark 持久化与 SQL 查询引擎：提升数据处理性能的关键

Spark 持久化与 SQL 查询引擎：提升数据处理性能的关键

1. Spark 持久化处理

在 Spark 中，持久化或缓存是提升性能的重要特性。Spark 中的计算和转换操作是惰性的，只有在对 RDD 调用动作操作时才会进行实际计算。虽然这种默认行为提供了容错能力，但在涉及跨计算重复使用公共数据集时，会影响作业的整体性能。

持久化和缓存通过 RDD 的 persist() 或 cache() 操作解决了这个问题。这些操作将调用 RDD 的计算分区存储在所有节点的内存中，并在对该数据集（或从其派生的数据集）的其他操作中重复使用，使未来的转换和操作更快，有时能快 10 倍以上。

Spark 提供了不同的持久化级别，即存储级别，由 org.apache.spark.storage.StorageLevel 定义。以下是各种存储级别的介绍：
| 存储级别 | 描述 | 适用场景 |
| — | — | — |
| MEMORY_ONLY | 将 RDD 以反序列化的 Java 对象形式存储在 Spark 集群内存中。若内存不足，部分分区可能不存储，需要时重新计算。 | 内存足以存储计算数据集时，可实现最高性能。 |
| MEMORY_ONLY_SER | 与 MEMORY_ONLY 类似，但以序列化的 Java 对象形式存储计算数据，节省空间。需使用快速序列化库，避免序列化/反序列化开销。 | 内存有限，需要节省空间时。 |
| MEMORY_