超级会员免费看
本文详细介绍了Hudi的Changelog模式，包括FULL模式和UPSERT模式在写数据和读数据时的差异。在FULL模式下，写入数据包含全部RowKind类型，读取时不会合并相同主键的变更。而在UPSERT模式中，DELETE操作不保存行数据，读取时会合并到最终状态。理解这些模式有助于正确地使用Hudi进行数据处理。
1. chanelog模式
在以hudi的MOR表作为flink cdc的源时，出现了一些并非预期的效果。hudi自身支持ChangelogModes#FULL & ChangelogModes#UPSERT 两种模式，从它们支持的RowKind来看，还以为数据写入与读取时 RowKind是一致的，其实不然；另外，如果读写分别使用了不同的模式，那又会产生什么后果，我们应该怎么使用它。
- 当changelog.enable=true时，为FULL模式，包含的RowKind有：INSERT , UPDATE_BEFORE , UPDATE_AFTER , DELETE
- 当changelog.enable=false时，为UPSERT模式，包含的RowKind有：INSERT , UPDATE_AFTER , DELETE
2. FULL模式
2.1 写数据
在该模式下，sink端会完整接收上流所有RowKind类型的数据，在hudi内部通过往行记录中增加元数据字段_hoodie_operation，并将该字段的值设置为RowKind的名称(+
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
