Hudi中数据重复

最新推荐文章于 2025-02-06 13:02:20 发布
原创 最新推荐文章于 2025-02-06 13:02:20 发布 · 2.3k 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Hudi #大数据 #Spark #Flink #ETL

针对Hudi MergeOnRead表在增量写入时出现的跨分区重复数据问题，解决方案是启用全局(布隆)索引，并设置HoodieIndexConfig.BLOOM_INDEX_UPDATE_PARTITION为true，以实现全局数据去重。默认情况下，Hudi仅处理同分区内的数据去重，开启全局索引可以确保全表范围内的唯一性。

问题描述:

往Hudi MOR(Merge On Read)表增量写数据，发现数据并没有按主键合并，存在重复数据.

主键...分区
1...P_1
2...P_1
1...P_2
3...P_2
4...P_2

解决方法：

          经分析重复数据只存在于不同分区内，如主键为1的数据，同分区内不存在重复数据。基于此可以使用全局(布隆)索引并设置HoodieIndexConfig.BLOOM_INDEX_UPDATE_PARTITION为true.

出于性能考虑，Hudi默认只对同分区内的数据去重，需要全局去重需要开启全局索引

主流OLAP引擎查询Hudi表数据
shangjg3的博客
10-09 440
Hudi存储和管理数据，同时为各种查询引擎提供了不同的查询方式。本文介绍了如何在不同的查询引擎中使用不同的查询方式，并讨论每个查询引擎的任何特定说明。1.1 快照查询快照查询是Hudi表最常见的查询类型。Spark SQL同时支持COPY_ON_WRITE和MERGE_ON_READ表上的快照查询。使用会话属性，可以围绕数据跳过和索引指定各种选项，以优化查询性能，如下所示。1.2 time travel 查询可以使用AS OF语法在特定的提交时间查询表。
Hudi数据湖_Spark通过Shell插入数据到Hudi_Scala测试数据生成_使用scala利用Spark向hudi中插入数据---大数据之Hudi数据湖工作笔记0012
添柴程序猿的专栏
12-28 345
就是重复数据,但是他们的ts,不一样,时间戳不一样,对吧,这里就指定了PRECOMBINE_FIELD_OPT_KEY 就是指定了ts这个字段,这个字段。然后上面的那个PRECOMBINE_FIELD_OPT_KEY预聚合配置,其实就是配置了,比如当,我们有两个数据,他们的主键都是1,内容也一样,那么。就是时间戳字段,他就会取,ts最大的,也就是最新的那个时间.做为判断标准. 这个就是PRECOMBINE_FIELD_OPT_KEY 预聚合的意思。
Hudi表数据重复原因
一见
05-16 1139
测试中，发现虽然显示设置为 upsert，且也按规范设置了 primaryKey、preCombineField，type 等，但查出的结果仍然存在重复。反复测试，重复的数据稳定为 2，且同一数据的一笔提交时间也保持不变。结果显示同一数据分区相同，但来自不同的 HDFS 文件。这个问题的原因是 drop 掉一张 hudi 表时，对应的表文件没有被删除，导致以同样路径再次创建后，select 仍然能查出来，这时显示重复的原因。但反复 create 和 drop，总是只有两个文件，并没有增加新的。
Hudi系列16:Hudi核心参数
只是甲的博客
02-07 1828
hudi常用参数
Hudi学习02 -- Hudi核心概念
patrick_big_data的博客
12-31 1876
hudi核心概念
Flink on Hudi数据重复
编程技术、独立开发、技术资讯以及编程感悟等内容
02-06 294
Flink on Hudi数据重复
Hudi 问题集合 持续更新..
乐乐的博客
11-09 450
文章目录1. Hudi 同步 Hive 的两种方式 1. Hudi 同步 Hive 的两种方式 1. JDBC option(DataSourceWriteOptions.HIVE_URL_OPT_KEY, "jdbc:hive2://localhost:10000") 2. Metastore option(DataSourceWriteOptions.HIVE_URL_OPT_KEY, "jdbc:hive2://localhost:10000") option(DataSourceWriteO
在 Apache Hudi 中使用正确的索引进行快速更新、删除
weixin_43857576的博客
12-01 1273
Apache Hudi 使用索引来定位更新/删除所属的文件组。对于 Copy-On-Write 表，通过避免需要连接整个数据集来确定要重写哪些文件，这可以实现快速的 upsert/delete 操作。对于 Merge-On-Read 表，这种设计允许 Hudi 限制任何给定基本文件需要合并的记录数量。具体来说，给定的基本文件只需要针对属于该基本文件一部分的记录的更新进行合并。相比之下，没有索引组件的设计（例如：Apache Hive ACID）可能最终不得不针对所有传入的更新/删除记录合并所有基本文件。 在
Hudi-通过Hive查询hudi表数据
qq_38304392的博客
03-03 757
环境准备 集成jar包：hudi-hadoop-mr-bundle-0.10.1.jar，放入$HIVE_HOME/lib目录下 建外部表 create database db_hudi; use db_hudi; CREATE EXTERNAL TABLE IF NOT EXISTS tbl_hudi_didi( order_id BIGINT, product_id ...
hudi系列-数据写入方式及使用场景
1032851561的博客
03-14 2594
hudi支持多种数据写入方式：insert、bulk_insert、upsert、boostrap，我们可以根据数据本身属性(append-only或upsert)来选择insert和upsert方式，同时也支持对历史数据的高效同步并嫁接到实时流程。
Hudi（21）：Hudi集成Flink之核心原理分析
yang_shibiao的博客
02-08 1488
在Hoodie 写入流程中，Hoodie 每写一个 parquet 都会有 base + 增量 merge 的过程，增量的消息会先放到一个 spillable map 的数据结构构建内存 index，这里的增量数据如果没有提前去重，那么同 key 的后来消息会直接覆盖先来的消息。默认情况下，不同的 partition 的消息是不去重的，即相同的 key 消息，如果新消息换了 partition，那么老的 partiiton 消息仍然保留。注意：write.precombine 选项控制了攒消息的去重。
Hudi的Record Key是全局唯一的吗？
Laurence的技术博客
04-09 1708
答案：不是! 默认情况下，Record Key只保证在同一分区内是唯一的。如果我们需要让Record Key变成全局唯一主键，按官方文档的说法： Record keys uniquely identify a record/row within each partition. If one wants to have a global uniqueness, there are two options. You could either make the dataset non-partitioned, o
Apache Hudi初探(九)(与spark的结合)--非bulk_insert模式
monkeyboy_tech的博客
06-10 1406
来说，什么也不操作（因为该index每次都会从parquet文件中读取信息从而组装成index），构建一个状态信息，主要是记录一下插入的记录数量和更新的记录数量 其中主要形成了以。（默认是true）会进行元数据的commit操作，这些commit的操作和之前。，则会要求排序，如果没有则只是按照partitioner进行重分区，（这里暂时忽略），主要是对数据进行分区处理，设计到小文件的处理。操作，所以没有去重的需要，所以直接采用spark原生的方式，实例的构造方法中会进行一些额外的操作。
Hudi从内核到实战介绍
zjjcchina的博客
08-08 692
在每个分区内，有多个数据组，每个数据组包含几个文件片，其中文件片包含基本文件和日志文件。Hudi采用MVCC设计，其中压缩操作将日志文件和基本数据文件合并成新的文件片，而清除操作则将未使用的文件片去除。更新记录到增量文件，压缩同步和异步生成新版本的文件。Hudi的核心是维护不同时间对表执行的所有操作的事件表，这有助于提供表的即时视图，同时还有效地支持按到达顺序进行数据检索。演示，update时limit只修改100条数据，然后根据时间戳进行查询，只会查询出进行修改的100条符合时间的数据....
1.Hudi基本概念
stable_zl的博客
12-10 1424
本文介绍了Hudi的基本概念
「Hudi系列」Hudi查询&写入&常见问题汇总
微信搜：import_bigdata，大数据领域硬核原创作者
05-17 6948
点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜八股文教给我，你们专心刷题和面试阅读本文前必读：1. 「Apache Hudi系列」核心概念与架构设计总结2. 「Hudi系列」Apache Hudi入门指南 | SparkSQL+Hive+Presto集成3. Apache Hudi 0.11 版本重磅发布，新特性速览!1.Hudi基本概念 ：Apache H...
Hudi（22）：Hudi集成Flink之常见问题汇总
yang_shibiao的博客
02-09 2053
Hudi集成Flink之常见问题汇总： 问题一：存储一直看不到数据 问题二：数据有重复 问题三：Merge On Read 写只有 log 文件
ApacheHudi使用问题汇总(二)
风中云彩的博客
01-08 3175
1. Hudi Cleaner是做什么的？ Hudi Cleaner（清理程序）通常在 commit和 deltacommit之后立即运行，删除不再需要的旧文件。如果在使用增量拉取功能，请确保配置了清理项来保留足够数量的commit(提交)，以便可以回退，另一个考虑因素是为长时间运行的作业提供足够的时间来完成运行。否则，Cleaner可能会删除该作业正在读取或可能被其读取的文件，并...
hudi建表插入数据
最新发布
03-19
### 使用 Apache Hudi 创建表并插入数据 #### 表格创建与数据插入概述 Apache Hudi 提供了一种高效的方式来管理和操作大数据集。Hudi 支持两种主要的表类型：Copy On Write (COW) 和 Merge On Read (MOR)[^4]。每种类型的表都具有不同的性能特点和适用场景。 以下是基于 Scala 编程语言的一个简单示例，展示如何在 Copy On Write (COW) 模式下创建 Hudi 表并将数据插入其中[^5]。 --- #### 示例代码：创建 COW 表并插入数据 ```scala import org.apache.hudi.DataSourceWriteOptions._ import org.apache.hudi.config.HoodieWriteConfig._ import org.apache.spark.sql.SaveMode import org.apache.spark.sql.functions._ // 初始化 SparkSession val spark = org.apache.spark.sql.SparkSession.builder() .appName("Hudi Insert Example") .getOrCreate() // 设置 Hudi 配置参数 val hudiOptions = Map( "hoodie.datasource.write.recordkey.field" -> "id", // 定义主键字段 "hoodie.datasource.write.partitionpath.field" -> "partition_field", // 分区字段 "hoodie.datasource.write.precombine.field" -> "ts", // 时间戳字段 "hoodie.insert.shuffle.parallelism" -> "2", "hoodie.upsert.shuffle.parallelism" -> "2" ) // 构建要写入的数据框 val data = Seq( (1, "Alice", "2023-09-01T10:00:00Z"), (2, "Bob", "2023-09-01T10:05:00Z"), (3, "Charlie", "2023-09-01T10:10:00Z") ).toDF("id", "name", "ts") data.withColumn("partition_field", lit("part_0")) // 添加分区列 // 将数据保存到 Hudi 表中 val basePath = "s3://your-bucket/path/to/hudi-table" // 替换为目标路径 data.write.format("hudi") .options(hudiOptions) .option(PRECOMBINE_FIELD.key(), "ts") // 设置时间戳字段 .option(RECORDKEY_FIELD.key(), "id") // 设置主键字段 .option(PARTITIONPATH_FIELD.key(), "partition_field") // 设置分区字段 .mode(SaveMode.Append) .save(basePath) spark.stop() ``` --- #### 关键配置说明 1. **`hoodie.datasource.write.recordkey.field`**: 定义唯一标识每一行记录的字段名称。 2. **`hoodie.datasource.write.partitionpath.field`**: 指定用于分片存储的字段名。 3. **`hoodie.datasource.write.precombine.field`**: 当存在重复记录时，指定哪个字段作为优先级依据（通常为时间戳字段）。 4. **`basePath`**: 存储 Hudi 表的实际位置，可以是本地文件系统或 Amazon S3 路径[^2]。 --- #### 数据读取方式 对于刚刚创建的 COW 表，可以通过以下方法读取其内容： ```scala val readData = spark.read.format("hudi").load(basePath) readData.show() ``` 如果涉及增量数据，则需额外引入 `MergeOnRead` 方式的逻辑处理[^3]。 --- #### 注意事项 - 在实际生产环境中，建议优化 shuffle 并发度以及调整其他高级选项以提升性能。 - 如果使用的是 MOR 表型，则需要进一步定义 DeltaLog 的管理策略。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CoderFusionZhu

不要打赏太多哦！我喝速溶就行

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值