15、Spark数据缓存、持久化与连接操作优化

Spark数据缓存、持久化与连接操作优化

1. 数据缓存与持久化

1.1 缓存与持久化的区别

在Spark中，缓存（caching）和持久化（persistence）本质上是同义词，可通过 cache() 和 persist() 两个API调用实现。 persist() 能对数据的存储方式和位置提供更多控制，可选择存储在内存、磁盘，以及序列化或非序列化存储。这两种操作都有助于提升频繁访问的DataFrame或表的性能。

1.2 DataFrame.cache()

cache() 会在内存允许的情况下，将尽可能多的分区存储在Spark执行器的内存中。不过，DataFrame可以部分缓存，但分区不能部分缓存。若并非所有分区都被缓存，再次访问数据时，未缓存的分区需要重新计算，从而拖慢Spark作业的速度。

以下是一个示例，展示了缓存大型DataFrame如何提升数据访问性能：

// In Scala
// Create a DataFrame with 10M records
val df = spark.range(1 * 10000000).toDF("id").withColumn("square", $"id" * $"id")
df.cache() // Cache the data
df.count() // Materialize the cache
res3: Long = 10000000
Command took 5.11