spark源码阅读 persist与checkpoint

最新推荐文章于 2025-09-12 20:46:57 发布

weixin_30878501

最新推荐文章于 2025-09-12 20:46:57 发布

阅读量43

点赞数

CC 4.0 BY-SA版权

文章标签：大数据

原文链接：http://www.cnblogs.com/qquan/p/5661084.html

cache机制

转载于:https://www.cnblogs.com/qquan/p/5661084.html

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

weixin_30878501

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

spark-Checkpoint容错恢复(超级详细)

互联网知识分享

05-16

402

而checkpoint执行完之后，rdd已经没有之前所谓的依赖rdd了，而只有⼀个强⾏为其设置的checkpointRDD，checkpoint之后rdd的lineage就改变了。）checkpoint的元数据会记录jar的序列化的二进制文件，因为你改动过代码，然后重新编译，新的序列化jar文件，在checkpoint的记录中并不存在。（1）当我们spark 的容错机制使得某个任务或数据块丢失，都可以从最开始的数据源重新获取数据计算，然后恢复数据块和任务，如果计算比较多，计算链比较长，这个恢复过程就很长。

Spark 中 cache、persist 和 checkpoint 更深入的代码示例

z1941563559的博客

11-19

558

可以在复杂场景中实现性能优化和容错能力的平衡。如果需要进一步优化或调整，请根据具体应用场景测试不同存储策略的效果！更深入的代码示例，涵盖其具体使用场景及背后源码运行逻辑的解读。常结合使用，避免重新计算已 checkpoint 的 RDD。以下是关于 Spark 中。

参与评论您还未登录，请先登录后发表或查看评论

Spark中cache、persist、checkpoint区别

weixin_43866709的博客

03-22

577

spark中的cache、persist、checkpoint都可以将RDD保存起来，进行持久化操作，供后面重用或者容错处理。但是三者有所不同。

spark源码（七）RDD cache、persist、checkpoint功能区别和源码解析

Interest1_wyt的博客

07-17

1180

RDD cache、persist、checkpoint功能区别和源码解析

Spark 中 cache、persist 和 checkpoint 优化数据处理的三种重要机制介绍

z1941563559的博客

11-19

1563

是优化数据处理的三种重要机制。它们都旨在减少数据重算和优化性能，但有各自的应用场景和实现原理。下面从源码角度分析其原理、作用和适用场景。会将 RDD 的数据保存到可靠存储（如 HDFS），并将 RDD 的依赖链打断，从而减少 DAG 深度，增强容错能力。，默认将数据存储在内存中，如果内存不足，则溢写到磁盘。的增强版，允许用户选择存储级别（的简化版，其底层实现直接调用。在 Spark 中，

Spark中cache、persist、checkpoint三者的比较

weixin_40659514的博客

02-16

798

spark中cache\persist和checkpoint

Spark cache、persist和checkpoint

paccumtreal的博客

07-05

345

先简单的说一下对spark core的一些理解：spark核心是RDD，也就是弹性分布式数据集。一个RDD上有多个partition。计算过程是一个有向无环图DAG。DAG由一个个的stage组成。stage划分规则是遇到宽依赖就划分一个stage。宽依赖和shuffle有关，在lineage中，父RDD上partition数据分配到子RDD的partition上,一对一，可直接传递数据，不需要...

spark中cache()、persist()、checkpoint()解析

微信公众号：一颗向上的草莓

05-03

544

Spark对RDD的持久化操作(cache()、persist()、checkpoint())是很重要的，可以将rdd存放在不同的存储介质中，方便后续的操作能重复使用。 cache() persist() cache和persist都是用于将一个RDD进行缓存，这样在之后使用的过程中就不需要重新计算，可以大大节省程序运行时间。 cache和persist的区别：cache只有一个默认的缓存级...

Spark中CheckPoint、Cache、Persist的用法、区别

Alian_W的博客

02-07

1976

Spark中CheckPoint、Cache、Persist 大家好，我是一拳就能打爆A柱的猛男这几天看到一套视频《尚硅谷2021迎新版大数据Spark从入门到精通》，其中有关于检查点（CheckPoint）的内容，所以就给大家以文字的形式复盘一下。接下来的顺序是：Spark关于持久化的描述、Cache用法、Persist用法、CheckPoint用法。中间会讲解三者之间的关系。 1、Spark关于持久化的描述在Spark官网，我可以找到关于RDD持久化的全部内容就是如下的内容： RDD Persis

Spark RDD缓存中cache，persist 和checkPoint的区别

weixin_44563670的博客

01-22

621

Spark RDD缓存中cache，persist 和checkPoint的区别文章目录一、cache，persist和checkPoint是什么？二、不同点1.cache,persist2.checkPoint总结一、cache，persist和checkPoint是什么？ cache,persist和checkPoint都是Spark任务执行过程中，缓存RDD产生的数据，避免分区执行发生错误，全部RDD再按照血缘关系再重复执行所有RDD逻辑，而直接从缓存中获取某一段RDD逻辑执行产生的数据二

Spark之cache ,persist ,checkpoint ,广播变量及其案例 : 根据IP地址(浏览器访问日志获取) / 经度纬度定位地理位置案例(7)

桂林算啦粉的博客

10-01

1895

一 cache 二 persist 三 checkpoint 四案例分析根据IP地址查找到位置信息(省市)

Spark的checkpoint源码讲解

04-09

Spark 的Checkpoint 源码讲解 Checkpoint 是 Spark 中的一种机制，用于快速恢复应用程序在出现故障时的状态。它可以帮助 Spark 应用从故障中恢复，避免了重新计算的麻烦。Checkpoint 相关源码可以分为四个部分：...

AI-调查研究-74-具身智能机器人学习新突破：元学习与仿真到现实迁移的挑战与机遇

永远好奇，无限进步！

09-10

969

具身智能体要实现高效学习与技能迁移，核心在于提升少样本学习与跨任务泛化能力。当前机器人学习面临多重挑战：一是任务间的迁移难度大，已学技能难以快速应用到相似任务；二是不同机器人形态和传感系统的异构性增加了适配难度；三是现有强化学习与模仿学习在样本效率和泛化能力上存在局限。为突破瓶颈，研究重点聚焦于元学习、少样本模仿学习和多任务预训练策略。例如，MAML等元学习框架可显著提升新任务适应速度，大规模多任务预训练则能为下游

TDengine 选择函数 TOP() 用户手册

最新发布

TDengine(老段）专注时序数据库领域

09-12

552

其中，TDengine TSDB 是一款高性能、分布式的时序数据库（Time Series Database），同时它还带有内建的缓存、流式计算、数据订阅等系统功能；TDengine IDMP 是一款AI原生工业数据管理平台，它通过树状层次结构建立数据目录，对数据进行标准化、情景化，并通过 AI 提供实时分析、可视化、事件管理与报警等功能。函数返回指定列中最大的 k 个非 NULL 值及其对应的记录。如果多条数据取值相同，且全部取用会超出 k 条限制时，系统会从相同值中随机选取符合要求的数量返回。

BYSJLG的博客

09-09

1050

本文介绍了一个基于Hadoop+Spark的物联网网络安全数据分析系统。该系统整合了Hadoop分布式存储和Spark分布式计算，结合Vue前端、Python Django后端以及Echarts可视化技术，构建了一个完整的物联网安全分析平台。系统能够处理15个关键字段的物联网安全数据，通过四个主要分析维度（安全态势评估、攻击类型识别、设备风险评估和性能异常监测）提供全面的网络安全分析。开发环境包括Hadoop、Spark、Hive、Python、Django、Vue等技术栈。文章展示了系统登录界面和管理模块

还在重启应用改 Topic？Spring Boot 动态 Kafka 消费的“终极形态”

郑龙飞

09-10

731

/ 用于存储 @KafkaListener 的“蓝图”// ... 可按需添加 concurrency, autoStartup 等其他属性(元数据采集与注册)@Component@OverrideClass<?= null &&!通过巧妙地结合和动态配置中心，我们实现了一个功能极其强大的动态 Kafka 消费管理方案。

IT研究室的博客

09-09

1100

本文介绍了一个基于大数据的国内旅游景点游客数据分析系统。该系统采用Hadoop+Spark分布式架构，结合Python/Java开发语言，通过Django/Spring Boot后端和Vue前端实现全流程旅游数据分析。系统具备五大核心功能模块：游客画像分析、消费行为挖掘、区域市场研究、时序环境分析和景点评估，可处理海量旅游数据并进行多维度的可视化展示。开发环境整合了HDFS、Spark SQL、Pandas等技术栈，使用MySQL存储分析结果。

内存大（巨）页

fpcc的专栏

09-12

445

文章摘要：大页（巨页）是比标准4KB页更大的内存页（如2MB或1GB），用于优化内存管理。随着内存容量增长，传统小页导致页表膨胀、TLB命中率下降等问题。大页通过减少页表层级、提升连续内存访问效率，显著提高性能，尤其适用于数据库、大数据处理、高性能计算等场景。但其分配复杂，可能加剧内存碎片。技术发展推动内存管理演进，未来可能出现更优方案。开发者需持续关注前沿技术动态。（150字）

想拿到ip地址库的离线包

Nothing

09-09

697

如果你只做“中国境内日志 -> 省市”离线解析，纯真社区版无论体积还是精度都够用；想要街道级或风险标签，再考虑商业数据源；任何 IP 库都有边界漂移，记得留好“未知”兜底与灰度观测。

Spark Checkpoint深入解析：源码与应用实践

"Spark的checkpoint源码讲解" Spark的Checkpoint机制是其容错恢复策略的重要组成部分，主要用于持久化中间结果并简化故障恢复过程。本文将深入解析Spark Checkpoint的源码，涵盖其基本使用、初始化、job生成及执行...