Flink的CheckPoint与SavePoint

最新推荐文章于 2025-11-25 14:07:10 发布
原创 最新推荐文章于 2025-11-25 14:07:10 发布 · 408 阅读 · 2 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#flink #大数据

Flink的Checkpoint（检查点）和Savepoint（保存点）是两种不同的状态快照机制，主要区别如下：

1. ‌Checkpoint‌

  • ‌核心功能‌：周期性触发的容错机制，用于故障恢复时保证状态一致性57。
  • ‌触发方式‌：由JobManager周期性触发，通过Barrier机制实现分布式快照26。
  • ‌存储内容‌：保存所有算子的状态快照，支持Exactly-Once语义15。
  • ‌生命周期‌：自动管理，旧检查点会被清理以释放存储空间7。
  • ‌性能影响‌：高频检查点可能增加系统开销，需平衡间隔时间与恢复速度7。

2. ‌Savepoint‌

  • ‌核心功能‌：手动触发的全局状态快照，用于有计划的状态迁移或版本升级5。
  • ‌触发方式‌：通过命令行或API显式触发，生成完整应用状态副本5。
  • ‌存储内容‌：包含检查点数据及作业拓扑信息，支持跨集群或配置恢复5。
  • ‌生命周期‌：需手动维护，长期保留需额外存储成本5。
  • ‌用途扩展‌：支持作业暂停后从相同状态恢复，或Flink版本升级时的兼容性测试5。

3. ‌关键差异‌

‌特性‌‌Checkpoint‌‌Savepoint‌
‌触发方式‌自动周期性触发27手动触发5
‌存储目标‌故障恢复（短期）7运维操作（长期）5
‌数据包含‌仅状态快照1状态+作业拓扑5
‌性能优化‌增量快照（RocksDB支持）3全量快照5

4. ‌技术实现‌

  • ‌Checkpoint‌：基于Chandy-Lamport算法，通过Barrier对齐实现一致性快照26。
  • ‌Savepoint‌：依赖Checkpoint机制生成，但需额外序列化作业元数据5。

两者共同构成Flink的容错与运维能力，Checkpoint保障实时可靠性，Savepoint提供灵活性运维支持

Flink Checkpoint 与SavePoint 剖析
默硕的博客
04-08 373
默认情况下，如果设置了Checkpoint选项，则Flink只保留最近成功生成的1个Checkpoint，而当Flink程序失败时，可以从最近的这个Checkpoint来进行恢复。Flink通过Savepoint功能可以做到程序升级后，继续从升级前的那个点开始执行计算，保证数据不中断全局，一致性快照。Flink可以支持保留多个Checkpoint，需要在Flink的配置文件conf/flink-conf.yaml中，添加如下配置，指定最多需要保存Checkpoint的个数。SavePoint 剖析。
Flink Checkpoint/Savepoint
独立开发，substack顶级编辑
10-22 1053
一.CheckPoints 为了使Flink的状态具有良好的容错性，Flink提供了检查点机制（Checkpoints）。通过检查点机制，Flink定期在数据流上生成checkpoint barrier ，当某个算子收到barrier时，即会基于当前状态生成一份快照，然后再将该barrier传递到下游算子，下游算子接收到该barrier后，也基于当前状态生成一份快照，依次传递直至到最后的Sink算子上。当出现异常后，Flink 就可以根据最近的一次的快照数据将所有算子恢复到先前的状态。 开启检查点 默
Flink CheckPoint 与 SavePoint 区别
qq_27242695的博客
06-29 951
CheckPoint 与 SavePoint 区别 概念 1. checkpoint checkpoint主要目的是在意外作业失败的情况下提供一个恢复机制。checkpoint的生命周期由Flink管理，也就是说，checkpoint由Flink创建、拥有和释放–无需用户互动。由于checkpoint经常被触发，并被用于故障恢复，checkpoint实现的两个主要设计目标是：尽可能轻量级地创建和尽可能快速地恢复。对这些目标的优化可以利用某些属性，例如，工作代码在执行尝试之间不会改变。 在flink任务故障
深入解析 Apache Flink Checkpoint 与 Savepoint 原理与最佳实践
qq_35716689的博客
09-09 955
本文深入解析 Apache Flink 中 Checkpoint 与 Savepoint 的工作原理和最佳实践，帮助读者掌握状态一致性与容错机制，实现高可用的实时数据处理。
Flink checkPoint和SavePoint
程序员路同学
06-19 1477
savepoint和checkpoint都是flink为容错提供的强大功能特性，能够自动或手动保存job的运行状态checkpoint：应用定时触发，用户保存状态，会过期，内部应用失败重启的时候启用，但是手动cancel时，会删除之前的checkpointsavepoint：用户手动置顶，相当于状态的备份，可以在bin/flink cancel xx的时候调用，一般用于修改并行度，程序升级等等。如果想要在程序停掉后重启，数据一致的情况下，强烈推荐使用cancel时做savepoint，当然如果程序中没有涉及
flink checkpoint和savepoint的实践使用
u012447842的博客
02-23 1320
环境： flink job 采用的是on yarn模式 步骤1：修改flink-conf.yaml state.backend 存储和检查点的后台存储。可选值为rocksdb filesystem hdfs state.checkpoints.dir 保存检查点目录 state.backend.incremental 增量存储 state.checkpoints.num-retained 保留最近检查点的数量 注释：hdfs://haservice/flink-checkpoints...
Flink CheckPoint和SavePoint
weixin_45181338的博客
01-18 658
Flink CheckPoint和SavePoint
Apache Flink 实时计算-深入理解 Checkpoint和Savepoint
专注大数据、实时计算、程序员成长、经验分享和排坑经历
02-25 1617
本文没有过多的讲述源码，考虑大家的都能够读懂，其语言竟可能通俗一一点。如果有需要改进的地方，希望大家能够指出。后续我会不断的和大家一起大数据相关的技术，和大家一起交流学习。
Flink Checkpoint/Savepoint对比
ZEEKLING
09-17 548
Savepoint 是一种特殊的 Checkpoint，实际上它们的存储格式也是一致的，它们主要的不同在于定位。Checkpoint 是为 Flink runtime 准备的，Savepoint 是为 Flink 用户准备的。因为 Checkpoint 是秒级频繁触发的，两个连续 Checkpoint 通常高度相似，因此对于 State 特别大的作业来说，每次 Checkpoint 只增量地补充 diff 可以大大地节约成本，这就是 incremental Checkpoint 的由来。
Flink高频考点：Checkpoint与Savepoint的高可用实战指南
大模型大数据攻城狮的专栏
07-21 875
默认情况下，Flink使用Kryo序列化状态，但对于复杂对象，可能需要自定义序列化器以提高性能或兼容性。// 构造函数、getter、setter略@Override@Override// 其他方法实现略效果：自定义序列化器减少了序列化开销，特别适合复杂对象或高频Checkpoint场景。
在 Kubernetes 上跑 Flink CDCSession 模式 + Operator 模式实战指南
最新发布
hello.reader
11-25 338
Flink在Kubernetes上的部署与CDC实时同步实现 本文详细介绍了Flink在Kubernetes环境中的两种部署模式及CDC实时数据同步的实现方案。主要内容包括： 部署架构： 原生Kubernetes集成：JobManager/TaskManager以Pod形式运行，支持动态资源管理 Kubernetes Operator模式：通过CRD管理Flink集群生命周期 Session模式实现： 使用kubernetes-session.sh脚本创建Session集群 配置REST访问和Flin
在 Flink Standalone 集群上运行 Flink CDC从下载到跑起一个 MySQL→Doris 同步任务
hello.reader
11-25 919
本文介绍了如何在Flink Standalone模式下快速搭建CDC数据同步环境，实现MySQL到Doris的实时数据同步。主要内容包括：1）Flink Standalone集群的安装部署；2）Flink CDC独立包的配置方法；3）通过YAML文件定义MySQL到Doris的同步流水线；4）任务提交和监控方法。文章还提供了生产环境实践建议，如server-id管理、权限配置、时区设置等，帮助用户快速构建稳定可靠的CDC数据同步系统。
Flink系列之：Flink on YARN 支持的部署模式
zhengzaifeidelushang的博客
11-22 95
Flink系列之：Flink on YARN支持的部署模式
通过Flink 1.19 客户端实现Flink集群连接 Kafka 基础测试报告
QXXDYL的博客
11-23 680
你会看到大量的 JSON 数据滚动，其中包含最新的 Update 和 Delete 操作记录（Key 相同的数据，后面的消息会覆盖前面的状态）。：Kafka 中没有数据，或者 Flink 任务没能从 Kafka 读到数据（可能是 Topic 名称不对，或者 Group ID 问题）。：Kafka 物理数据量（1400）与 Flink 逻辑状态量（1200）符合流处理的一致性语义。对于 Kafka 中的更新消息（后到的消息），Flink 会更新内存中对应 Key 的状态。
Flink 1.19 客户端部署与 YARN 远程提交指南
QXXDYL的博客
11-23 887
现目前是调研批流一体数仓架构，整体的流程图如下：同时为了资源隔离、灵活性、安全性和高可用，需要部署单独的客户端便于管理。：在独立客户端机器（xx.x.xx.214）上部署 Flink 1.19，并配置其向远程 CDH 集群（xx.x.xx.201-xx.x.xx205）的 YARN Session 提交 SQL 任务。
在 YARN 上跑 Flink CDC从 Session 到 Yarn Application 的完整实践
hello.reader
11-25 1080
本文介绍了Flink CDC在YARN集群上的两种运行模式：Yarn Session模式和Yarn Application模式。Session模式适合开发调试，先启动长期运行的Flink集群再提交作业；Application模式更适合生产环境，每个作业独立启动专属集群，提供更好的资源隔离。 文章详细讲解了环境准备步骤，包括YARN集群验证、Flink安装配置和Hadoop类路径设置。针对MySQL到Doris的数据同步场景，提供了配置文件示例和两种模式的作业
SpringBoot集成Flink-CDC，实现对数据库数据的监听
2509_94083964的博客
11-23 927
CDC 是（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、 更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。/*** 反序列化数据,转为变更JSON对象*/@Override//5.获取操作类型 CREATE UPDATE DELETE2 : 3;//7.输出数据/*** 从元数据获取出变更之前或之后的数据*/= null) {
通过Flink 1.19 客户端实现Flink集群连接paimon基础测试
QXXDYL的博客
11-23 650
python版本:3.8.20该测试旨在描述如何通过 Python 自动化脚本远程连接 Flink 集群，并对 Paimon 数据湖格式进行基础的 CRUD（增删改查）及压力测试。描述了一套基于 Pythonparamiko库实现的自动化测试流程。该流程通过 SSH 连接到部署了 Flink 客户端的远程服务器，利用提交 SQL 任务到 Flink on YARN 集群，完成针对 Paimon 表的批量读写、更新和删除操作，并进行数据一致性校验。
Flink Checkpoint 和 Spark Checkpoint 的区别
好记性不如烂笔头
11-23 913
更像一个“它主要目的是，避免因链路过长导致的性能问题或 StackOverflowError。它是一个** coarse-grained（粗粒度）** 的、的、的容错机制。：是一个“它是 Flink，用于在发生故障时，将整个分布式数据流状态恢复到一致性的检查点，实现或 At-Least-Once 语义。它是一个的、的、的容错机制。简单来说，Spark Checkpoint 是为了解决 RDD 带来的内部问题，而 Flink Checkpoint 是对外提供容错保证的核心特性。
flink sql 指定savepoint启动
10-16
Flink SQL 中的 savepoint 是一种持久化机制，用于在运行时保存当前作业的状态，以便在后续恢复时从这个点继续执行。如果你想通过 savepoint 启动 Flink job，你可以按照以下步骤操作： 1. **创建 savepoint**：首先，你需要在一个Flink Job执行期间，通过 `CREATE SAVEPOINT` 或者 `savepoint()` 函数来保存状态。例如： ```sql CREATE.Savepoint 'path/to/savepoint' AS checkpoint; ``` 这里，`path/to/savepoint`是你想要保存状态的路径。 2. **停止作业**：在创建完 savepoint 之后，通常会停止当前的作业以确保其完全停下来并保存了所有状态。 3. **恢复作业**：当需要从 savepoint 开始一个新的作业时，使用 `ALTER JOB` 命令指定 savepoint 的路径，并设置相应的恢复策略： ```sql ALTER JOB ... WITH savepoint restore_path 'path/to/savepoint'; ``` 如果你正在使用 REST API 或命令行工具，可以相应地提供作业ID和 savepoint 路径。 4. **重启作业**：最后，使用 `RUN` 或 `resume` 命令启动新的作业，它将从指定的 savepoint 点开始执行。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值