hudi系列-数据写入方式及使用场景

已于 2023-03-14 19:20:49 修改
阅读量2.5k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： hudi系列 文章标签： 大数据 hudi
于 2023-03-14 16:51:14 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/czmacd/article/details/129532791
本文介绍了Hudi支持的四种数据写入方式：upsert、insert、bulk_insert和bootstrap。upsert是Hudi的默认写入方式，适合需要保留变更数据的场景；insert适用于append-only数据；bulk_insert用于快速导入历史数据，不进行去重；bootstrap用于重建索引，确保全量数据去重。文中还讨论了不同写入方式对小文件优化和数据去重的影响，并提到了在Flink中应用Hudi的场景。

hudi支持多种数据写入方式：insert、bulk_insert、upsert、boostrap，我们可以根据数据本身属性(append-only或upsert)来选择insert和upsert方式，同时也支持对历史数据的高效同步并嫁接到实时流程。

这里的使用技术组合为flink + hudi-0.11

upsert

这是hudi默认的写入方式，是包含了INSERT和UPDATE两种操作，如何区分两种操作？在数据写入之前会进行一个"tag"过程，即通过查找索引来确定记录的位置，如果是UPDATE操作，那么我们会得到记录的旧位置，否则将会为INSERT的记录分配一个新位置，"相同"的记录被组织在一起，还能进行小文件方面的优化。这种写入方式适合数据会更新(不会重复)而且需要保留变更数据的场景(Changelog Mode),结合flink进行近实时流式计算。

insert

单纯的插入操作，由于不需要判断记录是否属于更新，因此省略了"tag"过程，速度会比upsert快得多，但是不能保证数据是去重的，对于append-only的数据(日志、行为)很适合使用这种方式

  • MOR表：采用的小文件优化策略与upsert一样，就是少维护了基于flink状态的全局索引
  • COW表：每次写都会直接生成新的parquet文件，写过程并不会进行小文件优化，但可以通过clustering进行来重新调整。

了解本专栏 订阅专栏 解锁全文 超级会员免费看
hudi系列-upsert写过程
1032851561的博客
04-23 1988
hudi有很多种写入流程，使用不同的表类型、写类型()、索引类型(IndexType)，流程上都会有所差异。使用flink流式写MOR表场景比较多，顺道梳理一下这个流程的细节。
Hudi数据湖_数据写_非分区表_key生成和删除策略_数据读与Compaction原理_集成Spark环境准备和启动Shell_Spark操作hudi配置---大数据之Hudi数据湖工作笔记0011
添柴程序猿的专栏
12-28 306
2.对于COW表进行的upsert的时候,有.parquet文件的时候,会先读取日志文件,然后创建索引,然后再去读取.parquet文件,这样就把日志文件中的数据和原来的.parquet中的数据进行合并,然后把合并的数据写入到.新的.parquet文件中,这样就完成了compaction合并。1.如果是COW表进行的insert的时候,并且没有.parquet文件的时候,就是还没有生成要插入数据的.parquet文件的时候,会直接合并所有的日志文件,并写入到.parquet文件中。这个操作不是物理删除。
Hudi系列4:Hudi数据写操作流程
只是甲的博客
01-11 2031
Hudi读写流程
Hudi系列19:Hudi写入模式
只是甲的博客
02-17 1166
Hudi写入模式
Hudi-数据写操作流程
qq_38304392的博客
02-26 568
概述 在hudi数据湖框架中支持三种方式写入数据：UPSERT(插入更新)、INSERT(插入)和BULK INSERT(写排序) UPSERT：默认行为，数据先通过index打标(INSERT/UPDATE)，有一些启发式算法决定消息的组织以优化文件的大小 INSERT：跳过index，写入效率更高 BULK_INSERT：写排序，对大数据量额hudi表初始化友好，对文件大小的限制best...
Hudi的insert
ZL_javaco的博客
09-26 1907
一、概要： 先看原文吧，Hudi官方公众号推出的‘数据更快导入Hudi’。略有受益，感到有必要做个总结。 如何将数据更快导入Apache Hudi？ 文章围绕的对象是bulk_insert: 其中包含三种原生模式和支持自定义拓展模式。 二、配置： hoodie.bulkinsert.sort.mode --可配：NONE、GLOBAL_SORT、PARTITION_SORT --默认：GLOBAL_SORT 三、模式： 3.1GLOBAL_SORT（全局排序）：...
数据湖之Hudi（9）：使用Spark向Hudi中插入数据
yang_shibiao的博客
02-24 5488
目录 0. 相关文章链接 1. 开发说明 2. 环境构建 2.1. 构建服务器环境 2.2. 构建Maven项目 3. Maven依赖 4. 核心代码 0. 相关文章链接 大数据基础知识点 文章汇总 1. 开发说明 Apache Hudi最初是由Uber开发的，旨在以高效率实现低延迟的数据库访问。Hudi 提供了Hudi 表的概念，这些表支持CRUD操作，基于Spark框架使用Hudi API 进行读写操作。 2. 环境构建 2.1. 构建服务器环境 关于构建Spark向Hu
Flink写入数据到Hudi数据湖的各种方式 + Flink从Hudi数据湖读取数据的各种方式
Bulut0907
06-13 6251
目录1. CDC Ingestion 1. CDC Ingestion 有两种方式同步数据到Hudi 使用Flink CDC直接将Mysql的binlog日志同步到Hudi 数据先同步到Kafka/Pulsar等消息系统，然后再使用Flink cdc-format将数据同步到Hudi 注意：1. 如果upstream不能保证数据的order，则需要显式指定write.precombine.field 2. MOR类型的表，还不能处理delete，所以会导致数据不一致。可以通过changelog.enab
Flink 读取 Kafka 消息写入 Hudi 表无报错但没有写入任何记录的解决方法
Laurence的技术博客
01-31 1378
本问题发生的场景是：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Confluent Avro 格式）接入到 Kafka 之后，通过 Flink 读取并解析这些 CDC 数据，然后写入到 Hudi 表中。在测试过程中发现：启动写入作业后，Hudi 表中迟迟没有数据写入，而 Flink 作业也没有报错。实际上，这应该是一比较常见的问题，我们的测试环境并没有特别的配置，大多数初次进行集成的开发者，大概率都会遇到这一问题，
Hudi 的写操作类型
修破立生
03-03 2570
本文介绍了 Hudi 的写操作类型，包括 UPSERT, INSERT, BULK_INSERT, DELETE, 并介绍了相关的应用场景
Hudi源码|Insert源码分析总结（一）(整体流程)
主要分享大数据相关的知识，如Spark、Hudi
11-11 3937
Hudi Java Client总结|读取Hive写Hudi代码示例。以Java Client为例的原因：1、自己生产上用的Java Client，相比于Spark客户端更熟悉一点。2、Java Client和Spark、Flink客户端核心逻辑是一样的。不同的是比如Spark的入口是DF和SQL，多了一层API封装。3、Java Client更贴近源码，可以直接分析核心逻辑。不用剖析Spark、Flink源码。对Sprk、Flink源码不熟悉的更容易上手。
SQL方式对hudi表进行操作
dafsq的博客
05-18 2108
SQL方式对hudi表进行操作
「Hudi系列」Hudi查询&写入&常见问题汇总
微信搜：import_bigdata，大数据领域硬核原创作者
05-17 6892
点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜八股文教给我，你们专心刷题和面试阅读本文前必读：1. 「Apache Hudi系列」核心概念与架构设计总结2. 「Hudi系列」Apache Hudi入门指南 | SparkSQL+Hive+Presto集成3. Apache Hudi 0.11 版本重磅发布，新特性速览!1.Hudi基本概念 ：Apache H...
多个Topic数据入Hudi一张表
qq_20101897的博客
01-30 266
在使用hudi自带的原生HoodieDeltaStreamer工具数据入湖时，发现只支持单topic的数据入湖。在我们实际生产场景中，需要消费多个topic数据。当多个topic时，之前只根据分区编号划分范围就不适用了，需要加上topic。这两个方法是将checkpoint数据转换成string和string方法，加入多个topic转换，多个之间使用竖线分隔。获取偏移量时，第一次需要判断是否是新加的topic，是新加的则需要获取最新的偏移量。扩展topic名称的配置，多个topic时使用逗号分隔；
【数据湖Hudi的概念】Write Operation类型和Schema Evolution
Bulut0907
05-30 1231
目录1. Write Operation类型2. Schema Evolution 1. Write Operation类型 类型如下： upsert(默认)：先查找索引，然后再进行insert或update insert：不查找索引，直接insert bulk_insert：对于表初始化时，进行几百TB数据的insert。数据insert时会进行排序 delete Soft Deletes：删除一条数据的时候，保留数据，但将其它字段设置为null Hard Deletes：进行physically r
flink实战--flinkSQL写入hudi的四种方式
阿华田的博客
01-04 2426
hudi官方提供了下面四种方式写入hudi，可以根据不通的业务需求选择合适的方式。
Hudi之数据读写探究
wt334502157的博客
05-29 2667
操作类型I/O开销CPU开销写入吞吐量磁盘空间利用内存消耗并发处理能力网络开销INSERT-写入最低几乎无需计算吞吐量较高低低一般低BULK_INSERT-批量写需要更多I/O有一些计算需求吞吐量最高较低较低高低UPSERT-更新或写入最高需要较高的计算资源吞吐量最低高较高低高。
Hudi表数据重复原因
一见
05-16 1125
测试中，发现虽然显示设置为 upsert，且也按规范设置了 primaryKey、preCombineField，type 等，但查出的结果仍然存在重复。反复测试，重复的数据稳定为 2，且同一数据的一笔提交时间也保持不变。结果显示同一数据分区相同，但来自不同的 HDFS 文件。这个问题的原因是 drop 掉一张 hudi 表时，对应的表文件没有被删除，导致以同样路径再次创建后，select 仍然能查出来，这时显示重复的原因。但反复 create 和 drop，总是只有两个文件，并没有增加新的。
Hudi数据的读写
m0_37689903的博客
09-08 309
本文主要介绍了Hudi的读、写以及Compaction操作
hudi表写入方式
最新发布
05-09
<think>好的，我需要回答用户关于Apache Hudi表写入方式及实现方法的问题。首先，我得回顾一下Hudi的基本概念。Hudi支持两种表类型：Copy on Write（COW）和Merge on Read（MOR）。这两种类型在写入时处理数据的方式不同，COW在写入时直接合并数据，生成新版本的文件，而MOR则是将更新写入日志文件，查询时才合并，适合频繁更新的场景。 接下来，用户可能想知道具体的写入实现方法。根据引用内容，用户提到了使用Flink和Hudi结合的例子，比如创建表的SQL语句。我需要参考这些例子，说明如何通过Flink SQL或者DataStream API进行写入。例如，创建表时需要指定connector为hudi，path指向HDFS路径，并设置表类型等参数。 另外，Hudi的写入操作包括插入、更新和删除。需要解释这些操作在COW和MOR下的不同处理方式。比如，COW的更新会重写整个文件，而MOR则追加日志。删除操作可能通过标记记录或物理删除来实现，具体取决于配置。 用户提供的引用中提到了Hudi支持Flink，但用户可能还不熟悉Flink，所以需要简明地说明如何使用Flink进行写入。例如，通过Flink SQL创建表并插入数据，或者使用DataStream API构建管道。同时，要注意到流式写入的配置，如check-interval和streaming enabled参数。 此外，Hudi的写入优化方法也是用户可能关心的点，比如小文件合并、索引机制（如布隆索引、HBase索引）来加速更新操作，以及如何通过调整参数来优化写入性能。例如，调整commit间隔、文件大小等。 还要考虑到不同数据湖场景下的应用，比如增量处理、近实时分析，这些场景下如何选择合适的写入方式和配置。例如，MOR适合需要低延迟更新的场景，而COW适合读多写少的场景。 最后，确保回答结构清晰，分点说明写入方式、实现步骤、代码示例以及相关优化方法。同时，根据引用中的示例代码，提供一个具体的Flink SQL示例，帮助用户理解实际操作步骤。需要验证LaTeX格式是否正确，数学公式用$包裹，独立公式用$$，并检查引用标识是否正确添加。</think>Apache Hudi表的写入方式及实现方法可分为以下核心要点： --- ### 一、Hudi表类型与写入模式 1. **Copy on Write (COW)** - 直接覆盖数据文件，每次更新生成新文件版本 - 适合**低频更新、高频查询**场景 - 示例配置： ```sql 'table.type' = 'COPY_ON_WRITE', 'write.operation' = 'upsert' ``` 2. **Merge on Read (MOR)** - 将更新写入日志文件（Log Files），查询时动态合并 - 支持**近实时写入**，延迟可低至5-10分钟[^2] - 示例配置： ```sql 'table.type' = 'MERGE_ON_READ', 'read.streaming.enabled' = 'true' ``` --- ### 二、写入实现方法 #### 1. **Flink SQL写入（参考引用[1][2]）** ```sql CREATE TABLE hudi_table( id INT PRIMARY KEY, name STRING, dt STRING ) PARTITIONED BY (dt) WITH ( 'connector' = 'hudi', 'path' = 'hdfs:///path/to/hudi_table', 'table.type' = 'MERGE_ON_READ', -- 或 COPY_ON_WRITE 'write.tasks' = '4', 'compaction.tasks' = '2' ); INSERT INTO hudi_table SELECT * FROM source_table; ``` #### 2. **DataStream API写入** ```java Configuration conf = new Configuration(); conf.setString(FlinkOptions.PATH, "hdfs:///hudi/path"); conf.setString(FlinkOptions.TABLE_TYPE, MERGE_ON_READ.name()); StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(); DataStream<HoodieRecord> dataStream = env.addSource(...); HoodiePipeline.Builder pipeline = HoodiePipeline.builder("tableName") .column("id").primaryKey() .column("name") .column("dt").partitionKey(); dataStream.sinkTo(HoodieSink.of(pipeline, conf)); ``` --- ### 三、关键写入操作 1. **Upsert（插入/更新）** - 自动检测记录是否存在（通过主键） - COW模式：重写整个Parquet文件 - MOR模式：追加到日志文件 2. **Insert Overwrite** ```sql SET execution.checkpointing.interval = 3min; INSERT OVERWRITE hudi_table SELECT ...; ``` 3. **删除操作** - 软删除：标记`_hoodie_is_deleted`字段 - 硬删除：通过`DELETE`操作物理移除记录 --- ### 四、优化策略 1. **小文件合并** 设置`compaction.async.enabled=true`自动合并日志文件[^3] 2. **索引优化** - 布隆索引：默认配置，适合主键离散场景 - 全局索引：`index.global.enabled=true`避免跨分区重复 3. **写入参数调优** ```properties write.batch.size=2000000 // 批次大小 write.rate.limit=500000 // 限流 write.parquet.max.file.size=128MB // 文件大小控制 ``` --- ### 五、应用场景对比 | 场景 | COW适用性 | MOR适用性 | |---------------------|-----------|-----------| | 实时数据湖 | ★★☆ | ★★★ | | 批量ETL | ★★★ | ★★☆ | | 频繁更新（如CDC） | ★☆☆ | ★★★ | ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值