RDD中cache和persist的区别

weixin_34115824

于 2014-06-21 15:39:00 发布

阅读量223

点赞数

文章标签： scala

本文详细解释了Apache Spark中RDD的cache与persist方法的区别。cache实际上是对persist的封装，默认使用MEMORY_ONLY存储级别。persist允许手动指定不同的StorageLevel，以满足不同场景的需求。两者都不是action操作。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

通过观察RDD.scala源代码即可知道cache和persist的区别：

def persist(newLevel: StorageLevel): this.type = {
　　if (storageLevel != StorageLevel.NONE && newLevel != storageLevel) {
　　　　throw new UnsupportedOperationException( "Cannot change storage level of an RDD after it was already assigned a level")
　　}
　　sc.persistRDD(this)

　　sc.cleaner.foreach(_.registerRDDForCleanup(this))
　　storageLevel = newLevel
　　this
}

/** Persist this RDD with the default storage level (`MEMORY_ONLY`). */
def persist(): this.type = persist(StorageLevel.MEMORY_ONLY)

/** Persist this RDD with the default storage level (`MEMORY_ONLY`). */
def cache(): this.type = persist()