hudi系列-schema evolution

最新推荐文章于 2025-06-05 09:02:31 发布
最新推荐文章于 2025-06-05 09:02:31 发布
阅读量450 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hudi系列 文章标签： hudi evolution 模式演变
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/czmacd/article/details/137792432
本文深入探讨了Hudi的schema evolution特性，特别是在schema on read模式下的支持与实现。介绍了Hudi 0.13.1和Flink 1.14.5版本中的差异，以及Spark和Flink对schema evolution的不同支持程度。内容涵盖了添加、删除和重命名列，更改数据类型，以及Hudi中的InternalSchema、TableAvroSchema等关键概念。同时，对非schema on read模式下的读写行为、Hive同步限制和写时schema验证进行了总结。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在RFC-33中描述，hudi对schema evolution进行了统一设计，在官网文档中也指明了从0.11版本开始，spark-sql ddl是支持schema evolution的，而flink-sql在旧版本中并不支持ddl方式对表结构，所以full schema evolution都隐藏在读写过程中。对于使用者，我们最终只关心表的读和写，但从实现层面来看，schema evolution需要覆盖不同的数据文件格式，还需要集成在各种hudi的表服务中。

  • hudi 0.13.1
  • flink 1.14.5

schema on read模式

schema on read模式下才支持复杂的schema evolution，目前需要显式启用hoodie.schema.on.read.enable，否则默认是非schema on read模式

语义

hudi中提供的完整schema evolution语义如下，目前spark已经全面实现，而flink因未对接ddl，所以尚未支持重命名。

  • 添加一个新列到表或者嵌套的结构体
  • 从表或嵌套的结构体删除一个已有列
  • 将一个已有的列或结构体内的字段重命
了解本专栏 订阅专栏 解锁全文 超级会员免费看
hudi系列-schema evolution(一)
1032851561的博客
06-27 443
在非schema on read模式下对schema进行变更需要注意以下情况可以增加新字段，但是建议只是追加，而且新schema数据需写入成功后才进行查询可以删减字段，一般不建议不可以改变列的数据类型不支持更改列名。
CDC 实时入湖方案：MySQL＞Flink CDC＞Kafka ＆ Schema Registry＞Hudi ( Flink Connector )
Laurence的技术博客
02-20 2447
本方案的技术链路为：使用 Flink CDC 将 MySQL 的 CDC 数据 （Avro 格式）接入到 Kafka ，然后通过 Flink Hudi Connector 将摄取的 CDC 数据写入到 Hudi 表中。整个链路由 Confluent Schema Registry 控制 Schema 的变更。本文是《CDC 实时入湖方案：MySQL > Flink CDC > Kafka > Hudi》的增强版，在打通从源端数据库到 Hudi 表的完整链路的前提下，还额外做了如下两项工作：
百信银行基于 Apache Hudi 实时数据湖演进方案
Ververica的博客
05-06 821
摘要：本文介绍了百信银行实时计算平台的建设情况，实时数据湖构建在 Hudi 上的方案和实践方法，以及实时计算平台集成 Hudi 和使用 Hudi 的方式。内容包括：背景百信银行基于 Fli...
Apache SeaTunnel 中的 Schema Evolution 功能详解
gitblog_00888的博客
06-05 228
Apache SeaTunnel 中的 Schema Evolution 功能详解 什么是 Schema Evolution Schema Evolution（模式演进）是数据工程领域的一个重要概念，它指的是数据表结构能够动态变化，而数据同步任务可以自动适应新表结构的变化，无需人工干预其他操作。在 Apache SeaTunnel 中，这一功能使得数据管道能够智能地处理源表和目标表结构的变化，大大...
HUDI数据湖的架构设计总结
qq_25037905的博客
04-29 2216
离线数据仓库痛点有哪些？ 1、job任务出问题，从出错的job重跑 2、写时模式，表字段并更怎么办？ 3、多个存储如何打通？kafka不能保存全量的数据，历史数据如何分析？ 比如： 实时数据flink存储到hbase 离线数据sqoop存储到mysql 如何打通上述是俩个库？ 无分层架构、分层架构、数据湖架构的对比： 1、无分层架构，最大的问题就是数据ETL过来直接计算分析得出结果，没有保留原始数据，核心缺点：不能进行2次分析。 2、分层架构，如下： ELT:通过flu
Flink CDC + Hudi 海量数据入湖在顺丰的实践
阿里云开发者
06-10 1048
简介：覃立辉在 5.21 Flink CDC Meetup 的分享。本文整理自顺丰大数据研发工程师覃立辉在 5月 21 日 Flink CDC Meetup 的演讲。主要内容包括：顺丰数据集成背景Flink CDC 实践问题与优化未来规划点击查看直播回放 & 演讲PDF一、顺丰数据集成背景顺丰是快递物流服务提供商，主营业务包含了时效快递、经济快递、同城配送以及冷链运输等。运输流程背后需要一系列系统的支持，比如订单管理系统、智慧物业系统、以及很多中转场、汽车或飞机上的很多传感器，都会产生大量数据。如果
Apache Iceberg的Schema Evolution详解
mojolang
02-08 2295
导语 作为构建新一代数据湖的三个中间件Apache Iceberg, Apache Hudi, Delta Lake都支持Schema Evolution，但是三者的支持能力不尽相同，其中Iceberg宣称支持 Full Schema Evolution。本文将详细分析Iceberg 的Full Schema Evolution， 同时捎带对比下和Delta Lake以及Hudi的Schema Evolution的不同。 为什么需要Schema Evolution 用户的数据随着时间和业务量的增长会需
Flink on Hudi作业校验报错Schema evolution is disable
编程技术、独立开发、技术资讯以及编程感悟等内容
02-07 358
Flink on Hudi作业校验报错Schema evolution is disable
Hudi Spark源码学习总结-spark.read.format(“hudi“).load（2）
主要分享大数据相关的知识，如Spark、Hudi
08-15 785
补充上一篇文章Hudi Spark源码学习总结-spark.read.format(“hudi”).load，由于上篇文章篇幅已经比较长了，所以单独写一篇补充一下，没有读过的可以先阅读一下，我们在上篇文章讲到返回的是，那么如果返回呢?本文总结了使用和的原因以及使用时查询Hudi的逻辑，知道了在使用是通过buildScan实现查询的。我在文章学习时，了解到是通过调用buildScan方法来获取数据源的RDD,所以也想看一下的buildScan方法是否也会在查询时用到以及什么情况下会用到，现在还不确定它和。..
数据湖浅析(以hudi为例)
weixin_45626756的博客
09-18 3606
数据湖浅析
Waterdrop项目中的模式演进(Schema Evolution)技术详解
最新发布
gitblog_01074的博客
06-05 352
Waterdrop项目中的模式演进(Schema Evolution)技术详解 什么是模式演进 模式演进(Schema Evolution)是数据集成领域的一项重要功能，它允许数据表的Schema结构发生变化时，数据同步任务能够自动适应这些变化而无需人工干预。在实际业务场景中，数据库表结构经常需要调整，比如添加新字段、删除字段、修改字段类型或重命名字段等。传统的数据同步工具遇到这类变更通常需要停止...
数据湖技术之Iceberg-01 原理解析、特性演进与Hive集成指南
yangwei2048的博客
07-07 6057
数据湖技术是集中存储多源异构数据的解决方案，支持批流一体处理。传统数据仓库难以满足实时分析需求，而Kappa架构存在存储和查询限制。Apache Iceberg作为开放表格式，支持ACID事务、分区演化、模式变更等特性，实现存储层统一。其分层元数据设计（Snapshot、Manifest等）与轻量级集成能力，解决了实时数仓的痛点，成为大数据领域的重要技术。
【数据湖Hudi的概念】Write Operation类型和Schema Evolution
Bulut0907
05-30 1148
目录1. Write Operation类型2. Schema Evolution 1. Write Operation类型 类型如下： upsert(默认)：先查找索引，然后再进行insert或update insert：不查找索引，直接insert bulk_insert：对于表初始化时，进行几百TB数据的insert。数据insert时会进行排序 delete Soft Deletes：删除一条数据的时候，保留数据，但将其它字段设置为null Hard Deletes：进行physically r
Apache Hudi部署和入门
weixin_44977470的博客
07-28 5877
部署准备 需要用到maven3.6.1+ 部署 1.github下载源码包 https://github.com/apache/hudi/releases/tag/0.5.3 2.解压 3.进入目录编译 执行 mvn clean package -DskipTests -DskipITs 目前hudi使用的是hadoop2.7.3版本,公司服务器是3.1.0所以 执行 mvn clean package -DskipTests -DskipITs -Dhadoop.version=3.1.0 可能遇到的问题
string转换成date类型_详解Apache Hudi如何配置各种类型分区
weixin_39522408的博客
12-01 447
1. 引入Apache Hudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。2. 分区处理为说明Hudi对不同分区类型的处理，假定写入Hudi的Schema如下{ "type" : "record", "name" : "HudiSchemaDemo", "namespace" :...
数据湖架构--HUDI
hawk2014bj的博客
01-16 1366
在hive-env中配置aux jars地址 ./sync.sh --jdbc-url jdbc:hive2://10.91.88.1:10000 --user hive --pass hive --partitioned-by d1,d2,d3 --partition-value-extractor org.apache.hudi.hive.MultiPartKeysValueExtractor --base-path /tmp/hoodie/sample-table --database defaul
使用Apache Spark和Apache Hudi构建分析数据湖
xleesf
06-15 1676
欢迎关注微信公众号：ApacheHudi 1. 引入 大多数现代数据湖都是基于某种分布式文件系统（DFS），如HDFS或基于云的存储，如AWS S3构建的。遵循的基本原则之一是文件的“一次写入多次读取”访问模型。这对于处理海量数据非常有用，如数百GB到TB的数据。 但是在构建分析数据湖时，更新数据并不罕见。根据不同场景，这些更新频率可能是每小时一次，甚至可能是每天或每周一次。另外可能还需要在最新视图、包含所有更新的历史视图甚至仅是最新增量视图上运行分析。 通常这会导致使用用于流和批处理的多个系统，前者处理增
java list 去重 相同的相加_java stream 根据key去重求和
weixin_39844481的博客
12-21 1365
根据key去重并将key相同的value值相加先将多个map放一个list中result原始数据：[{"town":7,"district":6,"village":23}, {"town":7,"district":6,"village":23}, {"town":7,"district":6,"village":23}, {"town":7,"district":6,"village":23}...
数据湖和Hudi
sc179的博客
02-19 901
目录1 数据湖1.1 什么是数据湖？1.2 数据湖的优点1.3 数据湖 VS 数据仓库1.3.1 本质区别1.3.2 存储位置1.3.3 数据源1.3.4 用户1.3.5 数据质量1.3.6 数据模式1.3.7 敏捷扩展性1.3.8 应用1.4 数据湖的构建 1 数据湖 1.1 什么是数据湖？ 是一个数据存储库，用来存储大量的原始数据； 是一种数据存储策略，并不与具体的某个技术框架关联，数据库、数据仓库也一样； 是专注于原始数据保真以及低成本长期存储的存储设计模式，相当于是对数据仓库的补充； 是用于长期存
hudi-spark-buind
03-31
<think>嗯，用户的问题是关于Hudi和Spark的绑定集成设置配置。首先，我需要回忆一下Hudi和Spark结合的基本步骤。记得Hudi需要特定的Spark Session扩展和配置参数，比如设置Kryo序列化和HoodieSparkSessionExtension。然后，用户提到的引用里提到了不同版本的Hudi，比如0.13.0和0.14.1，可能需要注意版本兼容性，特别是Spark的版本，比如3.2.3。 用户提供的引用中有几个关键点。引用[4]提到了核心参数，比如spark.serializer和spark.sql.extensions，这些是配置Spark必须的。同时，引用[5]提供了bundle jar的下载链接，说明可能需要使用预编译的jar包来解决依赖问题。另外，引用[2]提到Spark SQL与其他组件的集成，比如Spark Streaming和MLlib，所以在配置时要确保这些组件也能正确使用Hudi。 接下来，我应该分步骤来指导用户如何配置。首先是环境准备，确保Spark和Hudi版本兼容。然后，配置Spark Session，添加必要的扩展和参数。之后是依赖管理，用户可能需要下载Hudi的bundle jar，或者通过Maven引入依赖。还需要注意Hudi表的基本操作示例，比如写入数据，这样用户能验证配置是否成功。 另外，用户可能遇到的常见问题，比如版本不匹配、类冲突、序列化问题，这些都需要在回答中提及解决方法。例如，Kryo序列化配置不正确会导致任务失败，所以需要检查spark.serializer的设置。 最后，生成相关问题，帮助用户深入理解，比如优化配置、版本升级影响和集成其他组件的方法。这样用户不仅能解决当前问题，还能扩展应用场景。</think>### Hudi与Spark绑定集成配置步骤 #### 一、环境准备 1. **版本兼容性** Hudi与Spark的版本需严格匹配，例如： - Hudi 0.14.1 + Spark 3.2.x/3.3.x[^4] - 若使用Hudi 0.13.0，需注意其已知bug（如Spark SQL扩展兼容性问题），建议升级到0.14.1[^1] 2. **依赖配置** - **方式1**：直接下载预编译的Hudi Bundle JAR（如`hudi-spark3.1-bundle_2.12-0.13.0-SNAPSHOT.jar`[^5]） - **方式2**：通过Maven引入依赖： ```xml <dependency> <groupId>org.apache.hudi</groupId> <artifactId>hudi-spark3.1-bundle_2.12</artifactId> <version>0.14.1</version> </dependency> ``` #### 二、Spark Session配置 启动Spark Shell或提交任务时需添加核心参数： ```bash spark-shell \ --conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer' \ --conf 'spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension' \ --jars /path/to/hudi-spark-bundle.jar ``` - `KryoSerializer`：提升序列化性能 - `HoodieSparkSessionExtension`：启用Hudi的Spark SQL扩展功能[^4] #### 三、Hudi表操作示例 ```scala // 创建Hudi表 val df = spark.read.parquet("hdfs://path/to/source_data") df.write.format("hudi") .option("hoodie.table.name", "user_profile") .option("hoodie.datasource.write.operation", "upsert") .option("hoodie.datasource.write.table.type", "COPY_ON_WRITE") .mode("overwrite") .save("hdfs://path/to/hudi_table") ``` #### 四、常见问题解决 1. **类冲突** 使用`--packages`参数指定精确版本： ```bash --packages org.apache.hudi:hudi-spark3.1-bundle_2.12:0.14.1 ``` 2. **元数据管理** 通过Spark SQL Procedures执行Rollback等操作： ```sql CALL run_rollback('hudi_table', '20231012000000') ``` 需确保Hudi Procedures的版本与集群环境一致 3. **集成Spark Streaming** 实时写入时需配置Hudi的异步Compaction： ```scala .option("hoodie.cleaner.policy", "KEEP_LATEST_COMMITS") .option("hoodie.cleaner.commits.retained", 3) ``` 结合Spark Streaming可实现分钟级数据可见性[^2]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值