文章目录
前言
上一篇Flink cdc3.0同步实例 介绍了最新的一些功能和问题,本篇来看下新功能之一的动态变更表结构的具体实现。
在 Flink 中,应用程序由流数据流组成,这些数据流是由用户定义的Operators进行转换。

Flink CDC 3.0 框架中流动的数据类型被称为Event,代表外部系统产生的变更事件。每个事件都标有发生更改的表 ID 。事件分为SchemaChangeEvent和DataChangeEvent,分别代表表结构和数据的变化。处理schema变更的Operators对应图中的SchemaOperator。

(以下代码使用Flink Release 3.0.0)
源码解析
1. 接收schema变更事件
我们以添加字段触发的AddColumnEvent为例,它实现了SchemaChangeEvent。 SchemaOperator 当接收到有AddColumnEvent 事件时,会在processElement 中调用handleSchemaChangeEvent处理。

最低0.47元/天 解锁文章
1万+

被折叠的 条评论
为什么被折叠?



