hudi系列-append写过程

最新推荐文章于 2025-01-04 00:06:03 发布
最新推荐文章于 2025-01-04 00:06:03 发布
阅读量1.9k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hudi系列 文章标签： 大数据 hudi append 写
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/czmacd/article/details/131107778
本文详细介绍了Hudi的Append模式写入过程，该模式每次写操作生成新的Parquet文件，不涉及数据修改或去重，从而提供更高的写入性能。在0.13.1版本后，无论是COw+insert还是MOR+insert都统一采用Append写流程。整体流程中，AppendWriteFunction作为入口，BulkInsertWriterHelper处理数据并根据checkpoint或数据大小创建新文件。然而，这可能导致大量小文件的生成，需要配合Clustering和Cleaning服务进行优化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

Append模式每次都生成新的parquet文件，不涉及数据修改、去重。cow+insert一直是append模式，mor+insert在0.13.1后也统一走append写流程(HUDI-6045)

在0.13.1之前，mor+insert存在着写parquet和写log两种情况：

  • 写parquet：compaction.schedule.enabled = false & clustering.async.enabled = true，这时是append模式
  • 写log：compaction.schedule.enabled = true & clustering.async.enabled = false，这时走upsert写过程

append写过程比upsert简单直接得多，因此写入性能远优于upsert.

整体流程

在这里插入图片描述

  1. 与
了解本专栏 订阅专栏 解锁全文 超级会员免费看
hudi系列-upsert写过程
1032851561的博客
04-23 1931
hudi有很多种写入流程，使用不同的表类型、写类型()、索引类型(IndexType)，流程上都会有所差异。使用flink流式写MOR表场景比较多，顺道梳理一下这个流程的细节。
hudi系列-借助hudi优化架构
1032851561的博客
10-27 3277
引入hudi使用整个构架就是变得简单了，可以实现分钟级别的实时数仓，数据统一存储减少一致性的风险
关于hudi与HDFS/对象存储的文件追加写（Append）
05-24 1829
hudi所需的追加写，与HDFS、S3、OSS所具备的相应能力。
Apache Hudi 设计与架构最强解读
lvlei19911108的博客
04-20 708
本文将介绍Apache Hudi的基本概念、设计以及总体基础架构。1.简介Apache Hudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。这两种原语分别是：Update/Delete记录：Hudi使用细粒度的文件/记录级别索引来支持Update/Delete记录，同时还提供写操作的事务保证。查询会...
hudi相关疑问
努力奔跑的蜗牛
05-20 902
hudi changelog模式和append模式区别
数据湖技术Hudi的玉女心经（一篇文章从入门到精通）
xuye0606的博客
09-07 1569
通过对写流程的梳理可以了解到 Apache Hudi 相对于其他数据湖方案的核心优势：（1）写入过程充分优化了文件存储的小文件问题，Copy On Write 写会一直将一个 bucket （FileGroup）的 base 文件写到设定的阈值大小才会划分新的 bucket；Merge On Read 写在同一个 bucket 中，log file 也是一直 append 直到大小超过设定的阈值 roll over。
Hudi系列19:Hudi写入模式
只是甲的博客
02-17 1096
Hudi写入模式
CDP集成Hudi实战-spark shell
最新发布
罗仲虎的博客
01-04 519
​​​​​​​Hudi提供了多种写操作——包括批量和增量写操作——以将数据写入Hudi表，这些操作具有不同的语义和性能。当未配置记录键（请参见下面的键）时，将选择bulk_insert作为写操作，这与Spark的Parquet数据源的非默认行为相匹配。首次提交将自动初始化表，如果指定的基本路径中尚不存在该表。
hudi系列-数据写入方式及使用场景
1032851561的博客
03-14 2463
hudi支持多种数据写入方式：insert、bulk_insert、upsert、boostrap，我们可以根据数据本身属性(append-only或upsert)来选择insert和upsert方式，同时也支持对历史数据的高效同步并嫁接到实时流程。
Hudi（18）：Hudi集成Flink之写入模式
yang_shibiao的博客
02-05 1201
如果希望 Hoodie 保留消息的所有变更（I/-U/U/D），之后接上 Flink 引擎的有状态计算实现全链路近实时数仓生产（增量计算），Hoodie 的 MOR 表通过行存原生支持保留消息的所有变更（format 层面的集成），通过流读 MOR 表可以消费到所有的变更记录。流读的时候我们要注意 changelog 有可能会被 compaction 合并掉，中间记录会消除，可能会影响计算结果，需要关注sql-client的属性（result-mode）同上。SELECTED_PARTITIONS 生效，
hudi介绍和使用
lijian972的博客
02-14 9505
hudi的入门和使用
Hudi系列4:Hudi数据写操作流程
只是甲的博客
01-11 1817
Hudi读写流程
Flink写入数据到Hudi数据湖的各种方式 + Flink从Hudi数据湖读取数据的各种方式
Bulut0907
06-13 6134
目录1. CDC Ingestion 1. CDC Ingestion 有两种方式同步数据到Hudi 使用Flink CDC直接将Mysql的binlog日志同步到Hudi 数据先同步到Kafka/Pulsar等消息系统，然后再使用Flink cdc-format将数据同步到Hudi 注意：1. 如果upstream不能保证数据的order，则需要显式指定write.precombine.field 2. MOR类型的表，还不能处理delete，所以会导致数据不一致。可以通过changelog.enab
Hudi：初识Hudi
热门推荐
啥也不会的博客
07-07 1万+
是什么？ Hudi是什么？可以说Hudi是一个数据湖或是数据库，但它又不是数据湖或是数据库。笔者理解为Hudi是不带计算功能Hive。 众所周知，Hive是一个计算引擎，但是现在我们更多的是使用Spark基于Hive对HDFS中文件提供的Schema信息和元数据进行计算，而Hive作为计算引擎的功能逐渐被忽略，更多的是将Hive视作一个“数据库”（尽管它并不是），而Hudi则是完善了Hive的这部分功能。 使用Hudi对HDFS或是其他存储系统中的文件进行管理，使用Hudi创建相应的表，一样可以使用H
Apache+Hudi入门指南（含代码示例）
h335146502的专栏
02-24 1万+
1. 什么是Apache Hudi 一个spark 库 大数据更新解决方案，大数据中没有传统意义的更新，只有append和重写(Hudi就是采用重写方式) 使用Hudi的优点 使用Bloomfilter机制+二次查找，可快速确定记录是更新还是新增 更新范围小，是文件级别，不是表级别 文件大小与hdfs的Blocksize保持一致 数据文件使用parquet格式，充分利用列存的优势（drema...
Hudi
tsundere_ning的博客
01-30 4575
目录 Hudi Hudi 的前世今生： 1.1.1 什么是Apache Hudi 1.1.2 Hudi 支持的文件格式 1.1.3 表格式 1.1.2使用Hudi的优点 1.1.3 Hoodie 的基本概念梳理 1.1.4Hudi的设计动机 1.1.5Hudi可以避免小文件问题 1.1.6 Hudi 典型应用场景 --- 近实时摄取 / 分析、增量处理管道、DFS上数据分发 2. Hive和Presto与hudi的集成 2.1 hive 2.2 Presto 3...
数据湖之Hudi（11）：使用Spark更新Hudi中的数据
yang_shibiao的博客
02-26 1864
目录 0. 相关文章链接 1. 环境准备 1.1.构建服务器环境 1.2. 构建Maven项目和写入数据 2. Maven依赖 3. 核心代码 0. 相关文章链接 大数据基础知识点 文章汇总 1. 环境准备 1.1.构建服务器环境 关于构建Spark向Hudi中插入数据的服务器环境，可以参考博文的另外一篇博文，在CentOS7上安装HDFS即可，博文连接：数据湖之Hudi（6）：Hudi与Spark和HDFS的集成安装使用 1.2. 构建Maven项目和写入数据 此博文演示的是..
Hudi原理 | Apache Hudi初学者指南
Focus on Lakehouse
11-23 3632
在深入研究Hudi机制之前，让我们首先了解Hudi正在解决的问题。客户在使用数据湖时通常会问一个问题：当源记录被更新时，如何更新数据湖？这是一个很难解决的问题，因为一旦你写了CSV或Pa...
【hudi学习笔记】hudi基础教程-hudi表设计
foxofwind的博客
10-11 3535
一. hudi表设计 在较高的层次上，用于写Hudi表的组件使用了一种受支持的方式嵌入到Apache Spark作业中，它会在支持DFS的存储上生成代表Hudi表的一组文件。然后，在具有一定保证的情况下，诸如Apache Spark、Presto、Apache Hive之类的查询引擎可以查询该表。Hudi表的三个主要组件： 1）有序的时间轴元数据。类似于数据库事务日志。 2）分层布局的数据文件：实际写入表中的数据。 3）索引（多种实现方式）：映射包含指定记录的数据集。 Hudi提供了以下.
使用hudi-spark-client写数据到hudi表中
09-22
使用hudi-spark-client写数据到hudi表的步骤如下： 1. 首先，创建一个SparkSession对象，并配置相关的Spark和Hudi属性。例如： ```scala val spark = SparkSession.builder() .appName("HudiSparkClientExample") .config("spark.serializer", "org.apache.spark.serializer.KryoSerializer") .config("spark.sql.hive.convertMetastoreParquet", "false") .config("spark.sql.sources.partitionColumnTypeInference.enabled", "false") .config("spark.sql.hive.verifyPartitionPath", "false") .config("spark.hadoop.hive.exec.dynamic.partition.mode", "nonstrict") .config("spark.hadoop.hive.exec.dynamic.partition", "true") .config("spark.sql.warehouse.dir", "hdfs://localhost:9000/user/hive/warehouse") .config("spark.sql.catalogImplementation", "hive") .enableHiveSupport() .getOrCreate() ``` 2. 创建一个DataFrame对象，用于存储要写入Hudi表的数据。 ```scala val data = Seq( (1, "John Doe", 25), (2, "Jane Smith", 30) ) val df = spark.createDataFrame(data).toDF("id", "name", "age") ``` 3. 使用`HoodieSparkSqlWriter`将DataFrame写入Hudi表。指定要写入的表名、要使用的主键列以及要使用的分区列。 ```scala df.write .format("org.apache.hudi") .option("hoodie.table.name", "my_hudi_table") .option("hoodie.datasource.write.precombine.field", "id") .option("hoodie.datasource.write.recordkey.field", "id") .option("hoodie.datasource.write.partitionpath.field", "age") .mode(SaveMode.Append) .save("hdfs://localhost:9000/path/to/hudi_table") ``` 4. 最后，关闭SparkSession对象。 ```scala spark.stop() ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值