
Flink
文章平均质量分 88
记录Flink学习知识
小枫@码
永远多做一步、多说一句正向的话、多做一件正向的事情
展开
-
Flink检查点(checkpoint)、 保存点(savepoint)的区别和联系
checkpoint和savepoint是Flink为我们提供的作业快照机制,他们都包含有作业状态的持久化副本。1、checkpoint的侧重点是容错,即Flink作业意外失败并重启之后,能够直接从早先打下的checkpoint恢复运行,且不影响作业逻辑的准确性。而savepoint的侧重点是维护,即Flink作业需要在人工干预下手动重启、升级、迁移或A/B 测试时,先将状态整体写入可靠存储,维护完毕后再从savepoint恢复。原创 2024-01-31 10:39:06 · 2126 阅读 · 0 评论 -
Flink State backend状态后端
Flink在v1.12到v1.14的改进当中,其状态后端也发生了变化。老版本的状态后端有三个,分别是MemoryStateBackend、FsStateBackend、RocksDBStateBackend,在flink1.14中,这些状态已经被废弃了,新版本的状态后端是 HashMapStateBackend、EmbeddedRocksDBStateBackend。原创 2024-01-25 13:48:22 · 761 阅读 · 0 评论 -
Fink CDC 1.0 至3.0的从古至今
CDC是一种用以掌控数据变化的软件架构(技术思路),用于捕获和传递数据库中发生的数据变化。当数据库中发生增(INSERT)/删(DELETE)/改(UPDATE)时,它可以将这种变化实时/非实时地将这些变更以事件流的形式推送给其他应用程序或数据存储系统。原创 2024-01-25 10:39:39 · 1059 阅读 · 0 评论 -
Flink CDC 3.0 详解
Flink CDC 是基于数据库日志 CDC(Change Data Capture)技术的实时数据集成框架,支持全增量一体化、无锁读取、并行读取、表结构变更自动同步、分布式架构等高级特性。配合Flink 优秀的管道能力和丰富的上下游生态,Flink CDC 可以高效实现海量数据的实时集成。Flink CDC 于2023年12月7日重磅推出其全新的 3.0 版本,3.0版本的发布对 Flink CDC 而言具有里程碑的意义,自此 Flink CDC 从捕获数据变更的Flink 数据源正式迈向为以 Flink原创 2024-01-07 10:24:55 · 2272 阅读 · 0 评论