spark cache (几种缓存方法)

最新推荐文章于 2024-05-22 19:54:53 发布
原创 最新推荐文章于 2024-05-22 19:54:53 发布 · 3.4k 阅读 · 5 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#spark #cache

本文详细介绍了在SQL语句中使用缓存的方法，包括全表缓存、过滤结果缓存及取消缓存的语法。同时，文章还探讨了Spark DataFrame API中关于缓存与取消缓存的操作，并对比了CACHETABLE与CACHELAZYTABLE的区别。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  1. sql语句中cache
	//缓存全表
	sqlContext.sql("CACHE TABLE activity")
	//缓存过滤结果
	sqlContext.sql("CACHE TABLE activity_cached as select * from activity where ...")
	//取消缓存
	sqlContext.sql("UNCACHE TABLE activity")

CACHE TABLE是即时生效(eager)的，如果你想等到一个action操作再缓存数据可以使用CACHE LAZY TABLE,这样操作会直到一个action操作才被触发，例如count(*)

  1. dataframe的api
	df.cache
	df.unpersist

3.SQLContext的api

	SparkSession.sqlContext.cacheTable("XXX")
	SparkSession.sqlContext.unCacheTable("XXX")

实际调用的是sparkSession.catalog.(un)cacheTable

SparkSQL缓存的用法
SunnyRivers
08-27 1303
CACHE TABLE（缓存表）UNCACHE TABLE（清除指定缓存表）CLEAR CACHE（清除所有缓存表）下面我们详细讲解这些语句的使用方法。
Hive on Spark生产调优之缓存算子处理结果
数据与算法架构提升之路专栏
11-04 347
cache()是persist()的特例，persist可以指定一个StorageLevel(缓存级别) cache的缓存级别是memory_only
Spark SQL 源码分析之 In-Memory Columnar Storage 之 cache table
OopsOutOfMemory盛利的博客
09-25 1万+
Spark SQL缓存到内存中的数据的存储策略
Spark SQL利器：cacheTable/uncacheTable
zdy0_2004的专栏
11-04 1056
http://www.cnblogs.com/yurunmiao/p/4936583.html Spark相对于Hadoop MapReduce有一个很显著的特性就是“迭代计算”（作为一个MapReduce的忠实粉丝，能这样说，大家都懂了吧），这在我们的业务场景里真的是非常有用。   假设我们有一个文本文件“datas”，每一行有三列数据，以“\t”分隔，模拟生成文件的代码如下：  
Spark性能优化研究--cache的用法
fengkuang的一亩三分地
07-23 2636
Spark性能优化研究–cache的用法 背景 最近在用spark训练模型，数据量达到了50亿量级，遇到了很多性能问题，特此进行了试验总结。我们使用cache或者persist内存持久化的目的，是为了在以后的数据计算中减少数据读取的时间，当要处理的数据量过大时，比如50亿级，常常会遇到内存不够，或者cache所需时间过长的问题。cache会破坏spark在做DAG优化执行计划的时候的数据本...
Spark原理之Cache Table的工作原理及实现自动缓存重复Table Scan的思考
Dreamming Time的博客
04-26 2740
CACHE TABLE，可以让用户自定义要缓存的结果集，实际上就是一个临时表，不过数据存储在Spark集群内部，由Application所分配的executors管理。 一旦定义了一个缓存表，就可以在SQL脚本中随处引用这个表名，提高数据检索速度，同时也会资源不必要的资源开销。
Spark中持久化cache算子详解介绍
优快云 精品推荐
08-19 440
函数用于将RDD或Dataset的计算结果存储在集群的内存中，以便于后续的操作可以重用这些数据，而不需要重新计算。这大大提高了迭代计算的效率，特别是对于迭代算法和重复数据访问的场景。这可能意味着改变你的工作流，以便在缓存之前过滤掉不需要的数据。如果你的工作负载真的需要大量的缓存，并且优化工作流以减少缓存的大小不可行，那么增加集群的内存是一个明智的选择。通过上述策略和选项的合理组合和应用，可以更灵活地管理Spark作业的内存使用，减缓或解决内存不足的问题。使用更紧凑的数据结构，这可以减少每条记录的内存占用。
spark利用cache优化shuffle
RayfunC的博客
01-02 783
cache表，数据放内存，数据被广播到Executor， 将多份数据进行关联是数据处理过程中非常普遍的用法，不过在分布式计算系统中，这个问题往往会变的非常麻烦，因为框架提供的 join 操作一般会将所有数据根据 key 发送到所有的 reduce 分区中去，也就是 shuffle 的过程。造成大量的网络以及磁盘IO消耗，运行效率极其低下，这个过程一般被称为 reduce-side-join。 如果其中有张表较小的话，我们则可以自己实现在 map 端实现数据关联，跳过大量数据进行 shuffle 的过程，
每次进步一点点——spark中cache和persist的区别
热门推荐
housir的专栏
09-09 4万+
昨天面试被问到了cache和persist区别，当时只记得是其中一个调用了另一个，但没有回答出二者的不同，所以回来后重新看了源码，算是弄清楚它们的区别了。cache和persist都是用于将一个RDD进行缓存的，这样在之后使用的过程中就不需要重新计算了，可以大大节省程序运行时间。
spark中cache()、persist()、checkpoint()解析
微信公众号：一颗向上的草莓
05-03 540
Spark对RDD的持久化操作(cache()、persist()、checkpoint())是很重要的，可以将rdd存放在不同的存储介质中，方便后续的操作能重复使用。 cache() persist() cache和persist都是用于将一个RDD进行缓存，这样在之后使用的过程中就不需要重新计算，可以大大节省程序运行时间。 cache和persist的区别：cache只有一个默认的缓存级...
SparkSQL 技巧 - cache table 缓存 和 stack生成列
huochuangchuang的专栏
04-13 2277
–缓存性别表，表名sex，字段名sex，有2行 cache table sex_table as select stack(2,‘M’,‘F’) as sex; –缓存缴费期表，表名ppp_table，字段名ppp，有4行 cache table ppp_table as select stack(4,10,15,20,30) as ppp; –生成一个1~200的顺序表。因为接下来的连续的投保年龄，和连续的保单年度，都不会超过200，所以200已经够用。 cache table seq_table as
spark sql cache
感谢你的关注~~~~ღ( ´･ᴗ･` )
10-15 986
https://blog.youkuaiyun.com/lsshlsw/article/details/48662669
spark 缓存表的使用
LXP
11-30 3959
spark 几种缓存数据的方法1- 缓存表2-缓存结果查看3-缓存参数设置 1- 缓存表 1、cache table //缓存全表 sqlContext.sql("CACHE TABLE activity") //缓存过滤结果 sqlContext.sql("CACHE TABLE activity_cached as select * from activity where ...") CACHE TABLE是即时生效(eager)的，如果你想等到一个action操作再缓存数据可以使用CACHE LA
SparkSql Cache Table类语法编译原理
JiajunBernoulli的博客
10-12 1984
最近需要在自研的引擎实现SparkSQL的Cache Table逻辑，于是调研了一下相关语法的原理。
记一次Spark cache table导致的数据问题以及思考
最新发布
monkeyboy_tech的博客
05-22 558
这会导致shuffle后的数据进行了错位（因为之前是shuffle(200),现在变成了shuffle(10)），具体原因笔者还是没有分析清楚，但是其中涉及到的点跟规则。从以上的分析知道：是在做join的一方(包含了AQEshuffleRead-coalesced) 影响了join的另一方，导致。目前在做 Spark 升级(3.1.1升级到3.5.0)的时候，遇到了。导致的数据重复问题，这种情况一般来说是很少见的，因为一般很少用。会做一些执行前的判断，主要是做任务shuffle的协调，
Spark的cache与checkpoint优化
king_a_123的博客
12-05 1667
1.SPARK中一些通用的或者重要的RDD最好是做一个cache缓存，缓存到内存或者硬盘中，这样下次用到这个RDD数据的时候就不用从头开始计算了，直接从缓存读取即可！ 2由于某种原因也可能我们用cache或者Persist缓存的RDD数据，也可能会出现缓存这些数据的一部分机子突然挂掉等，如果此时还想更保险的保存该RDD的结果，最好就checkpoint一下，将checkpointDir设置为HD
sparksql-cache小表实现mapjoin优化性能
weixin_34190136的博客
03-16 647
对于复杂sql且关联表较多的情况，数据倾斜是很常见的问题，几乎可以说不倾斜才是少见情况，而在不能改变原始数据（不能采用多阶段分段聚合），不能改变spark源码的情况下，除了调整各种参数，可操作的空间并不多。 对于表之间的join操作，一般来说我们都知道有map join和reduce join两种情况。因为reduce端会按map输出的key的分布处...
一个Spark缓存的使用示例
chenyulancn的专栏
03-07 1665
之前一直不是非常理解Spark的缓存应该如何使用 今天在使用的时候, 为了提高性能, 尝试使用了一下Cache, 并收到了明显的效果之前一直不是非常理解Spark的缓存应该如何使用. 今天在使用的时候, 为了提高性能, 尝试使用了一下Cache, 并收到了明显的效果.关于Cache的一些理论介绍, 网上已经很多了. 但是貌似也没有一个简单的例子说明.注：因为使用的是内部数据文件, 在这边就不公布出...
spark.sql.Dataset处理方法
04-01
Spark SQL中的Dataset是一种表示分布式数据集的抽象概念，它可以通过编程接口进行操作和转换，支持强类型和弱类型的数据集。下面介绍几种Dataset的处理方法。 1. 创建Dataset 可以通过Spark SQL中的createDataset方法创建一个Dataset，例如： ``` val data = Seq(1, 2, 3, 4, 5) val ds = spark.createDataset(data) ``` 2. 转换Dataset 可以通过一系列的转换方法对Dataset进行转换，例如： ``` val ds1 = ds.filter(_ > 3) //过滤数据 val ds2 = ds.map(_ * 2) //映射数据 val ds3 = ds.drop(2) //删除前2行数据 val ds4 = ds.limit(3) //获取前3行数据 ``` 3. 聚合Dataset 可以通过聚合方法对Dataset进行聚合操作，例如： ``` val ds1 = ds.groupBy("col1").agg(avg("col2"), sum("col3")) //按照col1分组，计算col2的平均值和col3的总和 val ds2 = ds.groupByKey(_.col1).agg(avg(_.col2), sum(_.col3)) //按照col1分组，计算col2的平均值和col3的总和 ``` 4. 连接Dataset 可以通过连接方法将多个Dataset进行连接操作，例如： ``` val ds1 = Seq((1,"A"),(2,"B"),(3,"C")).toDF("id", "name") val ds2 = Seq((1,"D"),(2,"E"),(3,"F")).toDF("id", "name") val ds3 = ds1.join(ds2, Seq("id"), "inner") //内连接 val ds4 = ds1.join(ds2, Seq("id"), "left_outer") //左连接 val ds5 = ds1.join(ds2, Seq("id"), "right_outer") //右连接 ``` 5. 操作Dataset中的列 可以通过列操作方法对Dataset中的列进行操作，例如： ``` val ds1 = ds.withColumn("col1", ds("col1") + 1) //添加一个新的列col1，值为原来的col1+1 val ds2 = ds.select("col1", "col2") //选择col1和col2两列 val ds3 = ds.drop("col1") //删除col1列 val ds4 = ds.renameColumn("col1", "new_col1") //将col1列重命名为new_col1 ``` 6. 缓存Dataset 可以通过cache方法将Dataset缓存到内存中，以提高后续的查询效率，例如： ``` val ds = spark.read.parquet("hdfs://...") ds.cache() ds.filter("col1 > 10").count() ds.filter("col2 > 20").count() ``` 上述方法只是Dataset处理方法中的一部分，还有很多其他的方法和技巧可以用来处理和操作Dataset。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值