Spark如何检查DataFrame/RDD是否已缓存

本文介绍了两种检查Spark DataFrame或RDD是否已缓存的方法:1) 通过Spark UI的Storage界面查看;2) 注册tempView后利用catalog进行检查。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

【方法1:在spark UI中查看】

在spark脚本运行后,打开spark UI的Storage界面,便能看到当前已缓存的所有rdd

【方法2:利用tempView和catalog】

先把数据注册为临时表,然后可以通过catalog来检查临时表是否已缓存

package high_quality._history

import org.apache.log4j.{Level, Logger}
import org.apache.spark.sql.SparkSession

object test {

  def main(args: Array[String]) {

    Logger.getRootLogger.setLevel(Level.ERROR)
    val spark = SparkSession.builder().master("local[*]").getOrCreate()
    import spark.implicits._

    // 构造一个DataFrame
    val df = Seq("1").toDF("value")
    df.createTempView("tmp_df")

    // 创建一个catalog
    val catalog = spark.catalog

    // 打印所有数据库的名称
    catalog.listDatabase
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值