Spark如何检查DataFrame/RDD是否已缓存

最新推荐文章于 2024-04-06 22:43:56 发布

英国老鼠_

最新推荐文章于 2024-04-06 22:43:56 发布

阅读量1.1k

点赞数 1

CC 4.0 BY-SA版权

分类专栏：大数据Spark/SQL/MR 文章标签： spark

本文链接：https://blog.youkuaiyun.com/hwj_wayne/article/details/104069977

本文介绍了两种检查Spark DataFrame或RDD是否已缓存的方法：1) 通过Spark UI的Storage界面查看；2) 注册tempView后利用catalog进行检查。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

【方法1：在spark UI中查看】

在spark脚本运行后，打开spark UI的Storage界面，便能看到当前已缓存的所有rdd

【方法2：利用tempView和catalog】

先把数据注册为临时表，然后可以通过catalog来检查临时表是否已缓存

package high_quality._history

import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.SparkSession

object test {

  def main(args: Array[String]) {

    Logger.getRootLogger.setLevel(Level.ERROR)
    val spark = SparkSession.builder().master("local[*]").getOrCreate()
    import spark.implicits._

    // 构造一个DataFrame
    val df = Seq("1").toDF("value")
    df.createTempView("tmp_df")

    // 创建一个catalog
    val catalog = spark.catalog

    // 打印所有数据库的名称
    catalog.listDatabase