SparkCore — CacheManager持久化原理

最新推荐文章于 2023-01-06 11:31:57 发布
最新推荐文章于 2023-01-06 11:31:57 发布
阅读量221 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Spark Core原理与源码分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zlx_code/article/details/100710147
本文详细解析了Spark中CacheManager的持久化原理，阐述了在RDD计算过程中如何利用持久化数据提高效率。当计算RDD时，CacheManager会检查是否已持久化，若未持久化则从父RDD计算，若已持久化则直接读取，优先尝试本地读取，再考虑远程拉取，最后读取checkpoint数据，确保数据可用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

CacheManager持久化原理

  CacheManager的主要功能就是在进行RDD计算的时候，会先从持久化的RDD中读取当前计算RDD需要的数据。
  下面是RDD在进行计算的时候，读取数据的流程：
CacheManager
  RDD在计算的时候，首先会判断是否被持久化过，如果没有持久化，那么会用父RDD的数据来执行我们定义的算子计算新的RDD的partition的数据；假设持久化了，那么使用CacheManager直接读取持久化的数据；在读取的时候，使用BlockManager尝试从本地读取数据，或者远程拉取数据；假如一直都读取不到，那么还会读取之前checkpoint的数据，假如checkpoint的数据也没有读取到，那么就需要重新计算。在重新计算的时候，会将之前丢失的数据接着进行缓存，依据持久化级别进行缓存，内存或者磁盘等。

【硬刚大数据】我们在学习Spark的时候，到底在学习什么？
微信搜：import_bigdata，大数据领域硬核原创作者
08-29 549
欢迎关注博客主页：https://blog.youkuaiyun.com/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 优快云博客！本文首发优快云论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 很多小伙伴在群里或者私信留言问我关于Spark的学习路径问题。 Spark发展至今，应该说已经非常成熟了。是大数据计算领域不得不学习的框架。尤其是Spark在稳定性和社区发展的成..
大数据学习之Spark面试题
liu_weiliang10405的博客
04-03 486
1. Spark 的运行流程？ Spark运行流程具体运行流程如下： SparkContext 向资源管理器注册并向资源管理器申请运行 Executor资源管理器分配 Executor，然后资源管理器启动 ExecutorExecutor 发送心跳至资源管理器SparkContext 构建 DAG 有向无环图将 DAG 分解成 Stage（TaskSet）把 Stage 发送给 TaskSchedulerExecutor 向 SparkContext 申请 TaskTaskScheduler 将 T
CacheManager Net Core Redis 缓存
weixin_30659829的博客
05-31 613
using CacheManager.Core; using System; using System.Collections.Generic; using System.Text; namespace Service.Cache { public class QKCacheManager { public static QKCacheFactory factory = n...
spark源码学习（十一）---cacheManager分析
colossus——bigdata的专栏
03-03 924
cacheManager的分析要从RDD说起，当读取数据的时候，调用RDD的iterator方法的时候，如果storeRageLevel不是none，那么说明之前进行过RDD的持久化，就不需要从从父RDD执行以获取数据，优先使用cacheManager获取持久化的数据。 final def iterator(split: Partition, context: TaskContext): I
一篇文章搞懂 Spark 3.x 的 CacheManager
Shockang的博客
03-20 1887
前言 本文隶属于专栏《大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见大数据技术体系 WHAT CacheManager 是 Spark SQL 中内存缓存的管理者，在 Spark SQL 中提供对缓存查询结果的支持，并在执行后续查询时自动使用这些缓存结果。 数据使用 InMemoryRelation 中存储的字节缓冲区进行缓存。 这个关系是自动替换的查询计划，逻辑计划返回与最初缓存的查询相同的结果。 CacheManager
Spark CacheManager原理与源码分析
u013174239的博客
05-25 721
1、CacheManager在计算中位置与原理示意图2、源码解析RDD.scala final def iterator(split: Partition, context: TaskContext): Iterator[T] = { // storageLevel 不等于 NONE， 说明之前的RDD持久化过 if (storageLevel != StorageLevel.N...
Spark源码系列（五）分布式缓存
weixin_34061555的博客
07-03 166
这一章想讲一下Spark的缓存是如何实现的。这个persist方法是在RDD里面的，所以我们直接打开RDD这个类。 def persist(newLevel: StorageLevel): this.type = { // StorageLevel不能随意更改 if (storageLevel != StorageLevel.NONE && newLe...
Spark原理分析
qq_41559118的博客
02-13 1700
文章目录前言一、Spark运行1.1核心组件1.2运行流程1.3集群部署模式1.4yarn模式运行机制1.5Spark RPC框架二、SparkContext2.1SparkContext内部组件2.2SparkEnv内部组件2.3SparkContext整体启动流程2.4 三大组件启动流程三、作业执行原理四、shuffle详解4.1Spark Shuffle的两个阶段4.2Spark Shuffle技术演进4.3Hash Shuffle 前言 Spark 原理主要包括：核心组件的运行机制(Master、
Spark面试八股文-38题
渣渣张的自我成长记录
01-18 950
Spark组件及运行流程原理，SparkSQL，RDD，DAG图等内容
Spark学习笔记—Spark工作机制
Mr_zhujin的博客
02-18 1084
一.Spark执行机制 1.执行机制总览 Spark应用提交后经历一系列转变，最后成为task在各个节点上执行。 RDD的Action算子触发job的提交，提交到Spark的Job生成RDD DAG，由DAGScheduler转换为Stage DAG，每个Stage中产生相应的Task集合，TaskScheduler将任务分发到Executor执行。每个任务对应的数据块，使用用户定义的函数进行处...
Ehcache配置项及持久化到硬盘
weixin_30376083的博客
10-24 154
EhCache常见的配置项： cache元素的属性 name：缓存名称 maxElementsInMemory：内存中最大缓存对象数 maxElementsOnDisk：硬盘中最大缓存对象数，若是0表示无穷大 eternal：true表示对象永不过期，此时会忽略timeToIdleSeconds和timeToLiveSeconds属性，...
Spark之CacheManager运行流程
qq_34993631的博客
02-16 453
Spark之CacheManager运行流程 CacheManager概述   CacheManager的功能是将RDD的数据进行持久化。当Task要针对一个RDD中的Partition进行计算时如果发现我们即将产生的RDD已经被CacheManager持久化了，那么我们可以直接拿到目标数据而无需再进行计算。 具体来说，我们的计算过程发生在RDD的iterator()方法中。当我们要拿...
cacheManager彻底解密
a11a2233445566的专栏
01-20 2336
一：CacheManager分析： 1， CacheManager管理的缓存，而缓存可以是基于内存的缓存，也可以是基于磁盘的缓存； 2， CacheManager需要通过BlockManager来操作数据； 3， 当Task运行的时候会调用RDD的compute方法进行计算，而compute方法会调用iterator方法： /**  * Internal method to this R
spring +ehcache 持久化数据，重启恢复
Hello World
12-08 4820
今天有个需求，要求用户登录的时候展示一些信息，但是这些信息跨系统反复调用，比较慢，因此做数据缓存。有些系统不大，就ehcache 就可以了。但是因为有个子系统发布比较平凡，不希望重启之后缓存数据丢失，因此做持久化处理。框架是jfinal+spring+ehcache ，东西没啥区别。 下面是遇到的几个问题： 1.同一个类里面，A方法 ...
springboot缓存之CacheManager详解
qq_35876365的博客
01-06 6398
整合spring-cache的关键就在于配置一个缓存管理器CacheManager，让我们慢慢走近redis看看他的缓存管理器的实现吧~
CacheManager原理剖析与源码分析
旧时明月
10-21 731
首先 RDD 是通过 iterator 来进行计算：CacheManager 会通过 BlockManager 从 Local 或者 Remote 获取数据直接通过 RDD 的 compute 进行计算，有可能需要考虑 checkpoint; 通过 BlockManager 首先从本地获取数据，如果获得不到数据的话会从远程获取数据 首先检查看当前的 RDD 是否进行了 CheckPoint ，如
.Net缓存管理框架CacheManager
weixin_33973609的博客
11-30 323
Cache缓存在计算机领域是一个被普遍使用的概念。硬件中CPU有一级缓存，二级缓存， 浏览器中有缓存，软件开发中也有分布式缓存memcache, redis。缓存无处不在的原因是它能够极大地提高硬件和软件的运行速度。在项目开发中，性能慢的地方常常是IO操作频繁的地方，读取数据库是我们常见的消耗性能的地方。这个时候，如果将使用频繁的数据缓存到能够高速读取的介质中，下次访问时，不用再去请求数据库，直接...
Spark之 cache 的坑
weixin_36630761的博客
09-19 3444
转子：http://bit1129.iteye.com/blog/2182146    调用reduceByKey对应的ShuffledRDD对应的cache   cache不起作用   Java代码   package spark.examples    import org.apache.spark.SparkConf  import org.
CacheManager原理剖析
威少（微笑）
05-26 484
前景：Task ——》 RDD（iterator方法） ——》计算当前Task要计算出来的那个partition 情景1： 该RDD是持久化过的：那么StorageLevel肯定不是NONE，则会使用CacheManager去帮助我们直接读取持久化过的数据 情景1.1：BlockManager，先尝试从本地读取（getLocal），或从远程获取（getRemote） 情景1.2：...
如何实现ehcache持久化
06-01
Ehcache提供了多种持久化方式，包括磁盘持久化和数据库持久化。下面分别介绍这两种持久化方式的实现方法。 1. 磁盘持久化 （1）配置Ehcache的缓存管理器，使其支持磁盘持久化： ``` <diskStore path="java.io.tmpdir"/> <defaultCache maxElementsInMemory="10000" eternal="false" timeToIdleSeconds="120" timeToLiveSeconds="120" overflowToDisk="true" diskPersistent="true" diskExpiryThreadIntervalSeconds="120" memoryStoreEvictionPolicy="LRU"/> ``` 其中，diskPersistent="true"表示启用磁盘持久化，diskExpiryThreadIntervalSeconds="120"表示缓存过期检查间隔时间为120秒。 （2）定义缓存数据对象和序列化方式： ``` public class User implements Serializable { private static final long serialVersionUID = 1L; private Long id; private String name; // 省略getter和setter } public class UserSerializer implements ElementValueSerializer<User> { @Override public User createValue(byte[] serializedValue) { try (ObjectInputStream ois = new ObjectInputStream(new ByteArrayInputStream(serializedValue))) { return (User) ois.readObject(); } catch (IOException | ClassNotFoundException e) { throw new CacheException(e); } } @Override public byte[] serializeValue(User value) { try (ByteArrayOutputStream baos = new ByteArrayOutputStream()) { ObjectOutputStream oos = new ObjectOutputStream(baos); oos.writeObject(value); oos.flush(); return baos.toByteArray(); } catch (IOException e) { throw new CacheException(e); } } } ``` （3）使用缓存管理器创建缓存对象： ``` CacheManager cacheManager = new CacheManager(); Cache cache = new Cache( new CacheConfiguration("userCache", 10000) .eternal(false) .timeToIdleSeconds(120) .timeToLiveSeconds(120) .overflowToDisk(true) .diskPersistent(true) .diskExpiryThreadIntervalSeconds(120) .memoryStoreEvictionPolicy(MemoryStoreEvictionPolicy.LRU) .persistence(new PersistenceConfiguration().strategy(PersistenceConfiguration.Strategy.LOCALTEMPSWAP)) .elementValueType(ElementValueType.SERIALIZATION) .elementValueSerializer(new UserSerializer()) ); cacheManager.addCache(cache); ``` 2. 数据库持久化 （1）配置Ehcache的缓存管理器，使其支持数据库持久化： ``` <diskStore path="java.io.tmpdir"/> <defaultCache maxElementsInMemory="10000" eternal="false" timeToIdleSeconds="120" timeToLiveSeconds="120" overflowToDisk="false" diskPersistent="false" diskExpiryThreadIntervalSeconds="120" memoryStoreEvictionPolicy="LRU"/> ``` 其中，overflowToDisk="false"表示禁用磁盘缓存，diskPersistent="false"表示禁用磁盘持久化。 （2）定义缓存数据对象和序列化方式： ``` public class User implements Serializable { private static final long serialVersionUID = 1L; private Long id; private String name; // 省略getter和setter } public class UserSerializer implements ElementValueSerializer<User> { @Override public User createValue(byte[] serializedValue) { try (ObjectInputStream ois = new ObjectInputStream(new ByteArrayInputStream(serializedValue))) { return (User) ois.readObject(); } catch (IOException | ClassNotFoundException e) { throw new CacheException(e); } } @Override public byte[] serializeValue(User value) { try (ByteArrayOutputStream baos = new ByteArrayOutputStream()) { ObjectOutputStream oos = new ObjectOutputStream(baos); oos.writeObject(value); oos.flush(); return baos.toByteArray(); } catch (IOException e) { throw new CacheException(e); } } } ``` （3）使用缓存管理器创建缓存对象： ``` CacheManager cacheManager = new CacheManager(); Cache cache = new Cache( new CacheConfiguration("userCache", 10000) .eternal(false) .timeToIdleSeconds(120) .timeToLiveSeconds(120) .overflowToDisk(false) .diskPersistent(false) .diskExpiryThreadIntervalSeconds(120) .memoryStoreEvictionPolicy(MemoryStoreEvictionPolicy.LRU) .persistence(new PersistenceConfiguration().strategy(PersistenceConfiguration.Strategy.LOCALRESTARTABLE)) .elementValueType(ElementValueType.SERIALIZATION) .elementValueSerializer(new UserSerializer()) ); cacheManager.addCache(cache); ``` 其中，persistence(new PersistenceConfiguration().strategy(PersistenceConfiguration.Strategy.LOCALRESTARTABLE))表示启用数据库持久化，elementValueType(ElementValueType.SERIALIZATION)和elementValueSerializer(new UserSerializer())表示使用序列化方式将缓存数据存储到数据库中。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值