SPark关于缓存&坑

最新推荐文章于 2025-05-13 10:41:22 发布
最新推荐文章于 2025-05-13 10:41:22 发布
阅读量1k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark 文章标签： spark 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SPlus_SS/article/details/105363024
本文详细介绍了Spark的执行流程、运行架构特点和关键概念，重点关注Spark的缓存机制。Spark默认情况下，RDD仅使用一次，再次使用需重新计算。缓存机制可以避免重复计算，提高性能，但如果不恰当使用可能导致数据一致性问题。文中通过实例分析了在多维度计算中，由于对象引用值的改变引起的数据误差，并提出了解决方案，包括不缓存、复制对象等策略。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

SPark关于缓存&坑

SPark基本概念

对于Spark有一定了解的童鞋可以跳过前面基础概念的讲解,直接从下面的缓存部分开始看↓↓↓

Spark执行流程

Spark在执行Transformation类型操作时都不会立即执行,当遇到Action类型操作时,就会触发计算,每个action操作都会触发runJob操作,生成一个Job.在Driver中SparkContext根据RDD之间的依赖关系创建出DAG(有向无环图),DAGScheduler负责解析这个DAG,从当前Action方法向前回溯,如果遇到的是窄依赖则应用流水线优化,继续向前找,当碰到一个宽依赖时,就会把这个宽依赖之前的RDD组装成一个stage,再从当前宽依赖开始继续向前找,重复刚才的步骤,以此类推.每个stage由可以并发执行的一组task构成,一个partition对应一个task.DAGScheduler将stage划分完后,会将这组task提交到TaskScheduler去执行,任务会在Executor进程的多个Task线程上执行,完成Task任务后 将结果信息提交到ExecutorBackend中 他会将信息提交给TaskScheduler,TaskScheduler接到消息后通知TaskManager,移除该Task任务,开始执行下一个任务.TaskScheduler同时会将信息同步到TaskSet Manager中一份,全部任务执行完毕后TaskSet Manager将结果反馈给DAGScheduler,如果属于ResultTask 会交给JobListener.否则话全部任务执行完毕后写入数据.

Spark运行架构的特点

每个Application获取专属的Executor进程，该进程在Application期间一直驻留，并以多线程方式运行tasks。这种Application隔离机制有其优势，无论是从调度角度看（每个Driver调度它自己的任务），还是从运行角度看（来自不同Application的Task运行在不同的JVM中）。当前，这也意味着SparkApplication不能跨应用程序共享数据，除非将数据写入到外部存储系统。

几个名词解释

  1. Executor:
    在启动Spark程序时会指定num-executors executor数量,每个executor在yarn上就是一个container 也就是一个JVM
    通过executor-memory指定JVM内存大小
    spark提交命令
    而启动的一个Spark程序就是一个Application

  2. Job
    Spark是通过action算子触发真正的计算,每一个action操作会对应一个Job
    下面就是一个Application中的18个Job,也就是对应代码中的18个action操作
    一个Application中的18个Job

  3. Stage
    如上面所说的,在每个Job中从当前Acti

最低0.47元/天 解锁文章

200万优质内容无限畅学
Spark避坑系列（三）（Spark Core-RDD 依赖关系&持久化&共享变量）
艺术架构
01-11 579
该篇章主要介绍spark的编程核心RDD的其他概念，依赖关系，持久化，广播变量，累加器等
【经验03】spark处理离线数据速度缓慢遇到的坑
奋斗的阿杰的博客
05-14 283
03-spark处理离线数据速度缓慢遇到的坑
谈Spark下并行执行多个Job的问题
茅庐
03-20 2万+
本文结合笔者的实践场景，探讨了Spark下并行执行多个Job的问题。梳理了Spark任务调度的机制，并总结了实践中需要考虑的问题。
Spark之 cache 的坑
weixin_36630761的博客
09-19 3449
转子：http://bit1129.iteye.com/blog/2182146    调用reduceByKey对应的ShuffledRDD对应的cache   cache不起作用   Java代码   package spark.examples    import org.apache.spark.SparkConf  import org.
Spark缓存
最新发布
sxy_1030_的博客
05-13 979
Spark 缓存（Caching）是一种重要的性能优化技术，它允许将频繁使用的数据集持久化到内存或磁盘中，避免重复计算。1.避免重复计算：对于需要多次使用的 RDD/DataFrame/Dataset，缓存后只需计算一次。合理使用缓存可以显著提高Spark应用性能，但需要根据数据大小、访问模式和集群资源进行适当配置。大数据集且内存有限时使用 `MEMORY_AND_DISK`使用 `unpersist()` 释放不再需要的缓存。2. 缓存是惰性的，第一次action操作时才会真正缓存。
spark sql cache
weixin_30772105的博客
09-22 731
1.几种缓存数据的方法 例如有一张hive表叫做activity 1.CACHE TABLE //缓存全表 sqlContext.sql("CACHE TABLE activity") //缓存过滤结果 sqlContext.sql("CACHE TABLE activity_cached as select * from activity where ...") ...
Spark设计原理(二)——数据缓存机制
杜海的博客
09-22 880
所以原数据有9条记录，而shuffle write有8条记录，是因为先缓存了，再combine()，combine()后少了一条记录。如果map()操作后，先combine()的话，则mappedRDD的数据会丢失，不会缓存。所以是先缓存，再combine()。最近插入或者读取的分区数据放在表头，尾部的数据就是当前最久未被使用的，替换时直接删掉尾部就行。map()，cache()，shuffle前的combine()的执行顺序是怎么样的呢？2.spark难以获取缓存rdd的生命周期，难以精确的缓存替换。
SPARK图计算缓存踩坑记录整理
sxb668的专栏
06-27 1320
简单写写： 1、spark的cache只能将数据缓存在内存中，当缓存数据过大时，会只缓存部分数据，没缓存的数据还是会重复之前的操作从之前的RDD中计算获得。 2、persist可以选择存储级别，在缓存级别为MEMORY_AND_DISK和DISK_ONLY时，可以缓存下全量数据。 3、用fromEdgeTuples构建图的时候可以指定缓存级别，如果不指定则使用MEMORY_ONLY。 4、
一次关于Spark广播变量broadcast variable的优化
Mister___Wang的博客
03-02 1059
通过配置广播变量broadcast variable去优化Spark application
Spark SQL【Java API】
功不唐捐，玉汝于成
05-24 2010
Spark SQL 【Java API】
【Spark】RDD缓存机制
Just Do IT
04-12 809
把RDD的数据缓存起来，其他job可以从缓存中获取RDD数据而无需重复加工。注意：调用这两个方法后并不会立刻缓存，而是有action算子触发时才会缓存。persist有多种缓存方式，如缓存到内存，缓存到磁盘等。cache只缓存到内存，且实际是调用了persist方法。
Spark学习之路 （四）Spark的广播变量和累加器
weixin_33788244的博客
04-21 196
一、概述 在spark程序中，当一个传递给Spark操作(例如map和reduce)的函数在远程节点上面运行时，Spark操作实际上操作的是这个函数所用变量的一个独立副本。这些变量会被复制到每台机器上，并且这些变量在远程机器上的所有更新都不会传递回驱动程序。通常跨任务的读写变量是低效的，但是，Spark还是为两种常见的使用模式提供了两种有限的共享变量：广播变（broadcast variable...
Spark—算子—spark缓存策略
weixin_48370579的博客
07-12 391
Spark—算子—spark缓存策略 转换算子和操作算子 转换算子 转换算子：将一个RDD转换成另一个RDD，转换算子是懒执行，需要action算子来触发执行 操作算子 触发任务执行，一个action算子会触发一次任务执行，同时每一个action算子都会触发前面的代码执行 package com.core.day2 import org.apache.spark.rdd.RDD import ...
Spark_Spark 中Cache的作用 以及 具体的案例
迎难而上
06-13 6912
今天模拟实现 broadcastJoin 的时候突然意识到了这个点，对 Spark 的 Cache 做个总结。 问题 在Spark中有时候我们很多地方都会用到同一个RDD, 按照常规的做法的话,那么每个地方遇到Action操作的时候都会对同一个算子计算多次。这样会造成效率低下的问题 !!!! 常见 transform , action 算子 => https://blog.youkuaiyun.com/u010003835/article/details/10...
Spark RDD缓存操作的小坑
sunspeedzy的博客
09-11 773
今天发现了RDD缓存时的一个小坑，百度没有多少关于这个坑的介绍，也许是太简单了。不过我还是写下来，免得自己以后再被陷进去。 在Spark-shell中运行这样的代码 val rdd=sc.textFile("/zhangyan/result20190822.txt") .map(x=>{(x.substring(0,25), x)}).cache rdd.take(20) 然后，删除...
Spark中RDD的缓冲和持久化
qq_42456324的博客
04-29 496
1、缓冲 缓冲的作用：可以在内存中持久化或缓存多个数据集。当持久化某个RDD后,每一个节点都将把计算的分片结果保存在内存中,如果对这个RDD进行重复使用的时候,就不需要重复计算了,可以直接从缓冲中取。 缓冲的使用： //persist() 会对当前RDD进行持久化，可以使用参数来设置缓冲的方式，如在内存中、磁盘中、内存加磁盘 pairRdd.persist(pairRdd.persist(StorageLevel.MEMORY_AND_DISK)) //cache() 其
关于spark程序编写过程中缓存的利用
weixin_43874128的博客
12-11 299
记录一下这次优化内容 对于高手来说，缓存的思想已经深入人心。但是很多初学者还是没有想到使用空间换取时间的思想。 过程 由于我们的spark程序要频繁的访问Hbase。几乎是一条数据就要读取一下， 导致我们的region压力非常大。进而想到。使用scan将数据一次性读取到内存中（brodecast），随后对内存进行访问。速度提高10倍之多。 代码如下 val conn = HbaseDao.getConnection() //创建两个Map用于缓存从Hbase中获取的数据 val ne
【Spark】Spark cache的用法及其误区分析
beautiful_huang的博客
02-24 4798
Spark cache的用法及其误区: 一、Cache的用法注意点： （1）cache之后一定不能立即有其它算子，不能直接去接算子。因为在实际工作的时候，cache后有算子的话，它每次都会重新触发这个计算过程。 （2）cache不是一个action，运行它的时候没有执行一个作业。 （3）cache缓存如何让它失效：unpersist，它是立即执行的。persist是lazy级别的（没有计算），un...
spark cache (几种缓存方法)
热门推荐
zhuiqiuuuu的博客
02-08 4万+
例如有一张hive表叫做activity。cache表，数据放内存，数据被广播到Executor，broadcast，将数据由reduce side join 变map side join。效果都是查不多的，基本表达的都是一个意思。具体效果体现：读数据次数变小；df（dataframe）执行过一次就已经有值，不用重新执行前方获取df的过程。将多份数据进行关联是数据处理过程中非常普遍的用法，不过在分...
如何完成这个项目，实际我该干什么
04-03
比如使用Parquet，AQE，缓存表，避免SELECT *等。这些内容之前提到过，但需要更具体地指导用户如何实施。 可视化与报告部分，用户可能需要将结果导出到BI工具，比如Tableau或Grafana，这里要说明如何将Spark处理后...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值