spark 的checkpoint 详解

最新推荐文章于 2024-03-25 08:55:59 发布
最新推荐文章于 2024-03-25 08:55:59 发布
阅读量1.7k 收藏 6
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43548518/article/details/106086108
版权
Spark的checkpoint机制用于解决长时间迭代应用中血缘关系过长导致的容错性能问题。通过将RDD写入HDFS，检查点能缩短容错时的lineage长度。checkpoint操作在action触发后执行，Spark Streaming则按照batch interval定时checkpoint。读取时，任务失败会从checkpoint恢复数据。实现方式包括LocalRDDCheckpointData（本地存储）和ReliableRDDCheckpointData（外部存储，容错性更好）。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Spark core的checkpoint
（1）为什么checkpoint？
虽然RDD的血缘关系天然地可以实现容错，当RDD的某个分区数据失败或丢失，可以通过血缘关系重建。但是对于长时间迭代型应用来说，随着迭代的进行，RDDs之间的血缘关系会越来越长，一旦在后续迭代过程中出错，则需要通过非常长的血缘关系去重建，势必影响性能。
Spark中对于数据的保存除了持久化操作之外，还提供了一种检查点的机制，检查点（本质是通过将RDD写入Disk做检查点）是为了通过lineage做容错的辅助，lineage过长会造成容错成本过高，这样就不如在中间阶段做检查点容错，如果之后有节点出现问题而丢失分区，从做检查点的RDD开始重做Lineage，就会减少开销。检查点通过将数据写入到HDFS文件系统实现了RDD的检查点功能。
为当前RDD设置检查点。该函数将会创建一个二进制的文件，并存储到checkpoint目录中，该目录是用SparkContext.setCheckpointDir()设置的。在checkpoint的过程中，该RDD的所有依赖于父RDD中的信息将全部被移除。对RDD进行checkpoint操作并不会马上被执行，必须执行Action操作才能触发。可以理解为checkPoint 理解为transformation算子

（2）什么时候写checkpoint数据？
当RDD的action算子触发计算结束后会执行checkpoint。
spark streaming有一个单独的线程CheckpointWriteHandler，每generate一个batch interval的RDD 可能会触发checkpont
原则是：batch interval &

最低0.47元/天 解锁文章
spark checkpoint机制简述
简单就好
11-02 4429
本文主要简述spark checkpoint机制，快速把握checkpoint机制的来龙去脉，关于源码方面可以看参考文章。 1、Spark core的checkpoint 1）为什么checkpoint？ 分布式计算中难免因为网络，存储等原因出现计算失败的情况，RDD中的lineage信息常用来在task失败后重计算使用，为了防止计算失败后从头开始计算造成的大量开销，RDD会chec...
Spark Shuffle模块详解
日常分享数据分析开发、编程语言内容
03-17 1462
Spark Shuffle模块详解
Spark中的checkpoint作用与用法
热门推荐
allen的博客
07-27 3万+
checkpoint的意思就是建立检查点,类似于快照,例如在spark计算里面 计算流程DAG特别长,服务器需要将整个DAG计算完成得出结果,但是如果在这很长的计算流程中突然中间算出的数据丢失了,spark又会根据RDD的依赖关系从头到尾计算一遍,这样子就很费性能,当然我们可以将中间的计算结果通过cache或者persist放到内存或者磁盘中,但是这样也不能保证数据完全不会丢失,存储的这个内存出问题
spark checkpoint详解
weixin_30802171的博客
05-07 557
checkpoint在spark中主要有两块应用：一块是在spark core中对RDD做checkpoint，可以切断做checkpoint RDD的依赖关系，将RDD数据保存到可靠存储（如HDFS）以便数据恢复；另外一块是应用在spark streaming中，使用checkpoint用来保存DStreamGraph以及相关配置信息，以便在Driver崩溃重启的时候能够接着之前进度继续进行处理...
Spark 检查点（checkpoint）
最新发布
03-25 5万+
Checkpointing可以将RDD从其依赖关系中抽出来，保存到可靠的存储系统（例如HDFS，S3等)， 即它可以将数据和元数据保存到检查指向目录中。因此，在程序发生崩溃的时候，Spark可以恢复此数据，并从停止的任何地方开始。开发人员可以是来方法来设置检查点。在使用检查点之前，必须使用方法设置检查点目录。所以其实我们的checkpoint主要用于Spark Streaming任务。
Spark09: Spark之checkpoint
anglemanyi的博客
02-12 1424
checkpoint，是Spark提供的一个比较高级的功能。有时候，我们的Spark任务，比较复杂，从初始化RDD开始，到最后整个任务完成，有比较多的步骤，比如超过10个transformation算子。而且，整个任务运行的时间也特别长，比如通常要运行1~2个小时。在这种情况下，就比较适合使用checkpoint功能了。因为对于特别复杂的Spark任务，有很高的风险会出现某个要反复使用的RDD因为节点的故障导致丢失，虽然之前持久化过，但是还是导致数据丢失了。
spark batch checkpoint jar
12-20
Spark Batch Checkpointing详解 在大数据处理领域，Apache Spark以其高效、易用的特性成为业界广泛采用的计算框架。Spark Batch Checkpointing是Spark中一个关键的优化策略，用于提高大规模批处理作业的容错性和...
Spark Checkpoint原理与入门指南
"Spark原理与入门详解" Spark是一个强大的大数据处理框架，旨在提供高效、易用且功能全面的数据处理解决方案。自2009年在伯克利大学的AMPLab实验室诞生以来，Spark经历了快速的发展，逐渐成为业界广泛采用的大数据...
Spark RDD详解 —— RDD特性、lineage、缓存、checkpoint、依赖关系
大数据学习与分享的博客
11-24 553
    RDD（Resilient Distributed Datasets）弹性的分布式数据集，又称Spark core，它代表一个只读的、不可变、可分区，里面的元素可分布式并行计算的数据集。     RDD是一个很抽象的概念，不易于理解，但是要想学好Spark，必须要掌握RDD，熟悉它的编程模型，这是学习Spark其他组件的基础。笔者在这里从名字和几个重要的概念给大家一一解读： Resili...
spark rdd checkpoint的用法注意点
xiao_jun_0820的专栏
01-07 9665
/**    * Mark this RDD for checkpointing. It will be saved to a file inside the checkpoint    * directory set with `SparkContext#setCheckpointDir` and all references to its parent    * RDDs will be
Spark：checkpoint介绍
简单随风的博客
09-05 3188
checkpoint，是Spark提供的一个比较高级的功能。 有时候我们的Spark任务，比较复杂，从初始化RDD开始，到最后整个任务完成，有比较多的步骤，比如超过10个transformation算子。而且整个任务运行的时间也特别长，比如通常要运行1~2个小时。 在这种情况下，就比较适合使用checkpoint功能了。 因为对于特别复杂的Spark任务，有很高的风险会出现某个要反复使用的RDD因为节点的故障导致丢失，虽然之前持久化过，但是还是导致数据丢失了。那么也就是说，出现失败的时候，没有容错机制，所以
Spark中的checkpoint机制
杜海的博客
04-27 2734
一.Spark Core中的checkpoint def main(args: Array[String]) { val spark = SparkSession.builder().appName("Checkpoint Test").master("local[2]") .getOrCreate() val sc = spark.sparkContext sc.setCheckpointDir("checkpoint") val data = Array[(Int, Ch
Spark的checkpoint详解
炼数成器
06-08 1400
源码解释 /** *Mark this RDD for checkpointing. It will be saved to a file inside the checkpoint 将此RDD标记为检查点。它将保存到检查点内的文件中 *directory set with `SparkContext#setCheckpointDir` and all references to its ...
Spark -总结6- checkpoint的简单介绍
99滴神
06-26 399
为什么要用checkpoint呢? checkpoint的意思就是建立检查点,类似于快照，比如，在spark计算中，计算流程DAG很长，要是将整个DAG计算完成并得出结果，需要很长时间，在这等待时间中突然中间数据丢失，spark就会根据RDD的依赖关系从头到尾开始计算一遍，这样会很费性能的，怎么解决呢？这就需要用到缓存了，我们可以将中间的计算结过通过cache或者persist方式放到内存中，这样也不一定保证数据不会丢失，如果存储的内存除了问题，也是会导致spark重新根据RDD计算的，所以就有了check
spark-checkpoint机制
u013164612的专栏
05-25 379
设置checkpoint流程    1.job执行结束后，会判断是否需要checkpint操作    2.如果需要checkepoint操作，则先创建一个目录，在启动一个新的job计算，并将计算结果写入到创建的目录里面    3.创建一个checkpointRDD,并将原始的RDD依赖全部删除    4.将checkpointRDD加入到原始RDD依赖中，并将cpState状态改成checkpoi...
Spark 2.0从入门到精通245讲——操作RDD（action案例实战）
lishuan182的博客
10-12 616
package cn.spark.study.core import org.apache.spark.SparkConf import org.apache.spark.SparkContext /** * @author Administrator */ object ActionOperation { def main(args: Array[String]) {
spark的checkpoint
keyuquan的博客
06-07 935
========================================================================================================== 一.checkpoint 原理 http://spark.apache.org/docs/1.6.1/streaming-programming-guide.html#transfo
spark检查点Checkpoint
weixin_43862280的博客
11-08 576
CheckPoint CheckPoint的作用 ​ checkPoint的主要作用事斩断RDD的依赖关系,并将数据存储在可靠的数据引擎中,例如分布式文件存储系统HDFS. checkPoint的方式: 可靠的将数据存储在可靠的存储引擎中,例如HDFS 本地的,将数据存储在本地 什么斩断依赖 斩断依赖链是一个非常重非要的操作,接下来以HDFS的nameNode的原理来举例说明: Hdfs的NameNOde中主要职责是维护两个文件,一个叫做edits,另外一个是fsimage,edits中主要存放E
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值