超级会员免费看
本文深入探讨了Hudi的schema evolution特性，特别是在schema on read模式下的支持与实现。介绍了Hudi 0.13.1和Flink 1.14.5版本中的差异，以及Spark和Flink对schema evolution的不同支持程度。内容涵盖了添加、删除和重命名列，更改数据类型，以及Hudi中的InternalSchema、TableAvroSchema等关键概念。同时，对非schema on read模式下的读写行为、Hive同步限制和写时schema验证进行了总结。
在RFC-33中描述，hudi对schema evolution进行了统一设计，在官网文档中也指明了从0.11版本开始，spark-sql ddl是支持schema evolution的，而flink-sql在旧版本中并不支持ddl方式对表结构，所以full schema evolution都隐藏在读写过程中。对于使用者，我们最终只关心表的读和写，但从实现层面来看，schema evolution需要覆盖不同的数据文件格式，还需要集成在各种hudi的表服务中。
- hudi 0.13.1
- flink 1.14.5
schema on read模式
schema on read模式下才支持复杂的schema evolution，目前需要显式启用hoodie.schema.on.read.enable，否则默认是非schema on read模式
语义
hudi中提供的完整schema evolution语义如下，目前spark已经全
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
