hudi系列-schema evolution

最新推荐文章于 2025-09-20 07:33:01 发布
最新推荐文章于 2025-09-20 07:33:01 发布
阅读量553 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hudi系列 文章标签： hudi evolution 模式演变
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/czmacd/article/details/137792432
本文深入探讨了Hudi的schema evolution特性，特别是在schema on read模式下的支持与实现。介绍了Hudi 0.13.1和Flink 1.14.5版本中的差异，以及Spark和Flink对schema evolution的不同支持程度。内容涵盖了添加、删除和重命名列，更改数据类型，以及Hudi中的InternalSchema、TableAvroSchema等关键概念。同时，对非schema on read模式下的读写行为、Hive同步限制和写时schema验证进行了总结。

在RFC-33中描述，hudi对schema evolution进行了统一设计，在官网文档中也指明了从0.11版本开始，spark-sql ddl是支持schema evolution的，而flink-sql在旧版本中并不支持ddl方式对表结构，所以full schema evolution都隐藏在读写过程中。对于使用者，我们最终只关心表的读和写，但从实现层面来看，schema evolution需要覆盖不同的数据文件格式，还需要集成在各种hudi的表服务中。

  • hudi 0.13.1
  • flink 1.14.5

schema on read模式

schema on read模式下才支持复杂的schema evolution，目前需要显式启用hoodie.schema.on.read.enable，否则默认是非schema on read模式

语义

hudi中提供的完整schema evolution语义如下，目前spark已经全面实现，而flink因未对接ddl，所以尚未支持重命名。

  • 添加一个新列到表或者嵌套的结构体
  • 从表或嵌套的结构体删除一个已有列
  • 将一个已有的列或结构体内的字段重命
了解本专栏 订阅专栏 解锁全文 超级会员免费看
hudi系列-schema evolution(一)
1032851561的博客
06-27 533
在非schema on read模式下对schema进行变更需要注意以下情况可以增加新字段，但是建议只是追加，而且新schema数据需写入成功后才进行查询可以删减字段，一般不建议不可以改变列的数据类型不支持更改列名。
CDC 实时入湖方案：MySQL＞Flink CDC＞Kafka ＆ Schema Registry＞Hudi ( Flink Connector )
Laurence的技术博客
02-20 2599
本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka ，然后通过 Flink Hudi Connector 将摄取的 CDC 数据写入到 Hudi 表中。整个链路由 Confluent Schema Registry 控制 Schema 的变更。本文是《CDC 实时入湖方案：MySQL > Flink CDC > Kafka > Hudi》的增强版，在打通从源端数据库到 Hudi 表的完整链路的前提下，还额外做了如下两项工作：
百信银行基于 Apache Hudi 实时数据湖演进方案
Ververica的博客
05-06 849
摘要：本文介绍了百信银行实时计算平台的建设情况，实时数据湖构建在 Hudi 上的方案和实践方法，以及实时计算平台集成 Hudi 和使用 Hudi 的方式。内容包括：背景百信银行基于 Fli...
Apache Iceberg schema evolution全攻略：无副作用的数据结构变更
最新发布
gitblog_01102的博客
09-20 901
你是否还在为数据仓库中表结构变更导致的查询失败、数据错乱或全表重写而头疼？Apache Iceberg（冰山表）的Schema Evolution（模式演进）功能彻底解决了这些痛点。本文将系统讲解如何在生产环境中安全、高效地执行无副作用的数据结构变更，包含12种变更类型的实操指南、底层原理剖析及企业级最佳实践。读完本文你将掌握： - 零停机表结构升级的完整流程 - 10类常见变更的SQL/API实...
HUDI数据湖的架构设计总结
qq_25037905的博客
04-29 2294
离线数据仓库痛点有哪些？ 1、job任务出问题，从出错的job重跑 2、写时模式，表字段并更怎么办？ 3、多个存储如何打通？kafka不能保存全量的数据，历史数据如何分析？ 比如： 实时数据flink存储到hbase 离线数据sqoop存储到mysql 如何打通上述是俩个库？ 无分层架构、分层架构、数据湖架构的对比： 1、无分层架构，最大的问题就是数据ETL过来直接计算分析得出结果，没有保留原始数据，核心缺点：不能进行2次分析。 2、分层架构，如下： ELT:通过flu
Flink CDC + Hudi 海量数据入湖在顺丰的实践
阿里云开发者
06-10 1079
简介：覃立辉在 5.21 Flink CDC Meetup 的分享。本文整理自顺丰大数据研发工程师覃立辉在 5月 21 日 Flink CDC Meetup 的演讲。主要内容包括：顺丰数据集成背景Flink CDC 实践问题与优化未来规划点击查看直播回放 & 演讲PDF一、顺丰数据集成背景顺丰是快递物流服务提供商，主营业务包含了时效快递、经济快递、同城配送以及冷链运输等。运输流程背后需要一系列系统的支持，比如订单管理系统、智慧物业系统、以及很多中转场、汽车或飞机上的很多传感器，都会产生大量数据。如果
Apache Iceberg的Schema Evolution详解
mojolang
02-08 2652
导语 作为构建新一代数据湖的三个中间件Apache Iceberg, Apache Hudi, Delta Lake都支持Schema Evolution，但是三者的支持能力不尽相同，其中Iceberg宣称支持 Full Schema Evolution。本文将详细分析Iceberg 的Full Schema Evolution， 同时捎带对比下和Delta Lake以及Hudi的Schema Evolution的不同。 为什么需要Schema Evolution 用户的数据随着时间和业务量的增长会需
【数据湖Hudi的概念】Write Operation类型和Schema Evolution
Bulut0907
05-30 1226
目录1. Write Operation类型2. Schema Evolution 1. Write Operation类型 类型如下： upsert(默认)：先查找索引，然后再进行insert或update insert：不查找索引，直接insert bulk_insert：对于表初始化时，进行几百TB数据的insert。数据insert时会进行排序 delete Soft Deletes：删除一条数据的时候，保留数据，但将其它字段设置为null Hard Deletes：进行physically r
Flink on Hudi作业校验报错Schema evolution is disable
编程技术、独立开发、技术资讯以及编程感悟等内容
02-07 393
Flink on Hudi作业校验报错Schema evolution is disable
数据湖浅析(以hudi为例)
weixin_45626756的博客
09-18 3815
数据湖浅析
Waterdrop项目中的模式演进(Schema Evolution)技术详解
gitblog_01074的博客
06-05 418
Waterdrop项目中的模式演进(Schema Evolution)技术详解 什么是模式演进 模式演进(Schema Evolution)是数据集成领域的一项重要功能，它允许数据表的Schema结构发生变化时，数据同步任务能够自动适应这些变化而无需人工干预。在实际业务场景中，数据库表结构经常需要调整，比如添加新字段、删除字段、修改字段类型或重命名字段等。传统的数据同步工具遇到这类变更通常需要停止...
数据湖技术之Iceberg-01 原理解析、特性演进与Hive集成指南
yangwei2048的博客
07-07 6444
数据湖技术是集中存储多源异构数据的解决方案，支持批流一体处理。传统数据仓库难以满足实时分析需求，而Kappa架构存在存储和查询限制。Apache Iceberg作为开放表格式，支持ACID事务、分区演化、模式变更等特性，实现存储层统一。其分层元数据设计（Snapshot、Manifest等）与轻量级集成能力，解决了实时数仓的痛点，成为大数据领域的重要技术。
Flink CDC Connectors 核心概念：Schema Evolution（模式演进）详解
gitblog_00400的博客
06-07 357
在数据集成领域，Schema Evolution（模式演进）是指当源数据库的表结构发生变化时，这些变更能够自动同步到目标系统的能力。Flink CDC Connectors 提供的模式演进功能可以捕获上游数据库的 DDL 变更（如创建新表、添加/删除/重命名列、修改列类型等），并将这些变更应用到下游系统。 ## 为什么需要模式演进？ 在实际生产环境中，数据库表结构变更是非常常见的需求。传统ET...
Apache Hudi部署和入门
weixin_44977470的博客
07-28 5911
部署准备 需要用到maven3.6.1+ 部署 1.github下载源码包 https://github.com/apache/hudi/releases/tag/0.5.3 2.解压 3.进入目录编译 执行 mvn clean package -DskipTests -DskipITs 目前hudi使用的是hadoop2.7.3版本,公司服务器是3.1.0所以 执行 mvn clean package -DskipTests -DskipITs -Dhadoop.version=3.1.0 可能遇到的问题
string转换成date类型_详解Apache Hudi如何配置各种类型分区
weixin_39522408的博客
12-01 488
1. 引入Apache Hudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。2. 分区处理为说明Hudi对不同分区类型的处理，假定写入Hudi的Schema如下{ "type" : "record", "name" : "HudiSchemaDemo", "namespace" :...
数据湖架构--HUDI
hawk2014bj的博客
01-16 1430
在hive-env中配置aux jars地址 ./sync.sh --jdbc-url jdbc:hive2://10.91.88.1:10000 --user hive --pass hive --partitioned-by d1,d2,d3 --partition-value-extractor org.apache.hudi.hive.MultiPartKeysValueExtractor --base-path /tmp/hoodie/sample-table --database defaul
使用Apache Spark和Apache Hudi构建分析数据湖
xleesf
06-15 1717
欢迎关注微信公众号：ApacheHudi 1. 引入 大多数现代数据湖都是基于某种分布式文件系统（DFS），如HDFS或基于云的存储，如AWS S3构建的。遵循的基本原则之一是文件的“一次写入多次读取”访问模型。这对于处理海量数据非常有用，如数百GB到TB的数据。 但是在构建分析数据湖时，更新数据并不罕见。根据不同场景，这些更新频率可能是每小时一次，甚至可能是每天或每周一次。另外可能还需要在最新视图、包含所有更新的历史视图甚至仅是最新增量视图上运行分析。 通常这会导致使用用于流和批处理的多个系统，前者处理增
java list 去重 相同的相加_java stream 根据key去重求和
weixin_39844481的博客
12-21 1380
根据key去重并将key相同的value值相加先将多个map放一个list中result原始数据：[{"town":7,"district":6,"village":23}, {"town":7,"district":6,"village":23}, {"town":7,"district":6,"village":23}, {"town":7,"district":6,"village":23}...
数据湖和Hudi
sc179的博客
02-19 949
目录1 数据湖1.1 什么是数据湖？1.2 数据湖的优点1.3 数据湖 VS 数据仓库1.3.1 本质区别1.3.2 存储位置1.3.3 数据源1.3.4 用户1.3.5 数据质量1.3.6 数据模式1.3.7 敏捷扩展性1.3.8 应用1.4 数据湖的构建 1 数据湖 1.1 什么是数据湖？ 是一个数据存储库，用来存储大量的原始数据； 是一种数据存储策略，并不与具体的某个技术框架关联，数据库、数据仓库也一样； 是专注于原始数据保真以及低成本长期存储的存储设计模式，相当于是对数据仓库的补充； 是用于长期存
Schema evolution
08-14
在数据库和数据格式的管理中，模式演变（Schema Evolution）是指随着业务需求和技术环境的变化，对数据库结构或数据格式进行修改的过程。模式演变在数据仓库、分布式系统和大数据处理中尤为常见，因为这些系统需要适应不断变化的数据源和分析需求。 ### 模式演变的常见类型 1. **添加字段（Add Field）** 当需要引入新的数据字段时，可以在现有模式中添加新字段。这种变化通常不会影响已有的数据，因为旧数据可以默认填充为 `NULL` 或其他默认值。这种技术广泛应用于关系型数据库和 NoSQL 数据库中 [^1]。 2. **删除字段（Remove Field）** 删除不再使用的字段可以简化模式并提高性能。然而，这种操作需要确保旧数据不会因字段缺失而引发兼容性问题。在某些系统中，可以通过版本控制或数据迁移来缓解这一问题 [^1]。 3. **修改字段类型（Change Field Type）** 有时需要更改字段的数据类型，例如将整数字段改为浮点数字段。这种变化可能导致数据丢失或精度问题，因此通常需要进行数据转换或迁移 。 4. **重命名字段（Rename Field）** 字段重命名通常用于提高可读性或一致性。为了避免破坏现有查询或应用程序，许多系统支持别名机制，使旧名称仍然可用，同时引入新名称 [^1]。 5. **嵌套结构的演变（Nested Structure Evolution）** 在处理复杂数据格式（如 JSON、Parquet、Avro）时，嵌套结构的演变可能涉及添加、删除或重新组织嵌套字段。Avro 和 Parquet 等格式通过支持模式兼容性规则来简化这种演变 [^1]。 ### 数据格式与模式演变的兼容性 不同的数据格式对模式演变的支持程度不同。以下是几种常见格式的兼容性特性： - **Avro** Avro 是一种支持模式演变的二进制数据格式，其核心特性之一是能够在读写数据时使用不同的模式。Avro 通过解析器来处理模式差异，例如添加新字段时，旧数据可以自动填充默认值 。 - **Parquet** Parquet 是一种列式存储格式，支持模式演变，但对字段顺序和嵌套结构的变化较为敏感。Parquet 允许添加新列，并且可以通过兼容性规则处理模式变化 。 - **JSON** JSON 是一种灵活的半结构化格式，天然支持模式演变。然而，JSON 的灵活性可能导致解析时的不确定性，因此建议使用模式验证工具（如 JSON Schema）来确保一致性 。 - **XML** XML 也支持模式演变，但其结构较为冗长，解析效率较低。XML 的模式（XSD）可以通过命名空间和版本控制来管理演变 。 ### 数据库中的模式演变策略 1. **版本控制（Schema Versioning）** 通过为模式分配版本号，可以在系统中同时支持多个版本的模式。这在分布式系统中尤为重要，因为它允许逐步升级数据格式而不影响现有服务 。 2. **兼容性检查（Compatibility Checking）** 在进行模式演变时，应检查新旧模式之间的兼容性。例如，Apache Avro 提供了兼容性规则，确保新旧模式可以互操作 [^1]。 3. **数据迁移（Data Migration）** 对于不兼容的模式变化（如字段类型更改），可能需要执行数据迁移任务。数据迁移可以通过 ETL 工具或自定义脚本实现 [^1]。 4. **向后兼容（Backward Compatibility）** 确保新版本的模式可以读取旧版本的数据。这是许多系统（如 Avro）默认支持的特性 [^1]。 5. **向前兼容（Forward Compatibility）** 确保旧版本的模式可以读取新版本的数据。这通常通过忽略未知字段实现 [^1]。 ### 示例：使用 Avro 实现模式演变 ```json // v1 schema { "type": "record", "name": "User", "fields": [ {"name": "username", "type": "string"}, {"name": "email", "type": "string"} ] } ``` ```json // v2 schema (添加新字段) { "type": "record", "name": "User", "fields": [ {"name": "username", "type": "string"}, {"name": "email", "type": "string"}, {"name": "age", "type": ["null", "int"], "default": null} ] } ``` 在 Avro 中，使用 v2 模式读取 v1 数据时，`age` 字段将自动填充为 `null`，从而实现向后兼容。 ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值