hudi系列-设置合理清理策略

已于 2022-11-15 22:24:16 修改
阅读量3.4k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： hudi系列 文章标签： hudi 清理 clean 策略
于 2022-11-08 20:56:32 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/czmacd/article/details/127758646
本文详细介绍了Hudi的清理策略，包括默认的KEEP_LATEST_COMMITS策略，以及如何选择和配置基于时间的策略。推荐使用KEEP_LATEST_COMMITS，因为它在增量清理时能避免异常情况。建议根据应用需求和数据保留时长来设置合适的保留提交次数。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 默认清理策略

在hudi系列-旧文件清理（clean）中介绍了清理的大致流程，可以防止文件系统的无限膨胀，所以它是必须的。hudi提供三种查询方式：读优化、快照读、增量读，无论是哪种方式，由于hudi的文件组织是有版本的概念(FileGroup,FileSlice)，旧版本的文件持续在执行清理，如果被清理的文件正在读取或者即将被读取到，那岂不是很影响使用，所以我们需要设置合理的清理策略保障上层数据处理任务的平稳运行，提高系统的容错性。

  • KEEP_LATEST_COMMITS：默认策略，表示保留最后n次提交，默认为10 ，通过参数hoodie.cleaner.commits.retained​或clean.retain_commits​(flink)设置;
  • KEEP_LATES_FILE_VERSIONS：保留最后n个文件版本，默认为3，通过参数hoodie.cleaner.fileversions.retained设置;
  • KEEP_LATEST_BY_HOURS：保留最后n小时，默认24小时，通过参数hoodie.cleaner.hours.retained设置，这是0.11版本后新增的;

可以通过hoodie.cleaner.policy来配置使用以上哪一种清理策略。

2. 选择清理策略

在flink+hudi的使用场景中，一般

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hudi Clean Policy 清理策略实现分析
主要分享大数据相关的知识，如Spark、Hudi
06-02 793
总结Hudi Clean Policy清理策略,从源码层面分析如何实现
Hudi Clean 清理文件实现分析
主要分享大数据相关的知识，如Spark、Hudi
05-20 1101
前言 源码层面总结分析Hudi Clean是如何实现的，不了解Hudi Clean的可以先看这篇：一文彻底理解Apache Hudi的清理服务。 Hudi Clean主要是清理删除不需要的历史文件，可以根据实际业务需要配置参数，不能影响查询，比如某个查询语句正在用某个文件，Clean如果删除了这个文件，查询就会报错。 这里只是删除历史文件，Hudi的文件是有多个版本的，不管配置什么参数，使用什么策略，都不会删除当前最新版本的文件。 Hudi 0.9.0版本有两种清理策略KEEP_LATEST_COMMITS
hudi0.13版本clean策略
努力奔跑的蜗牛
05-27 892
hudi0.13版本清理策略
hudi系列-旧文件清理（clean）
1032851561的博客
08-04 8810
hudi采用的是mvcc设计，提供了清理工具cleaner来把旧版本的文件分片删除，默认开启了清理功能，可以防止文件系统的存储空间和文件数量的无限增长。
Hudi学习笔记2 - Hudi配置
一见
05-06 928
Flink SQL source/sink connectors 的配置，如：index.type、write.tasks、write.operation、clean.policy、clean.retain_commits、clean.retain_hours、compaction.max_memory、hive_sync.db、hive_sync.table、hive_sync.metastore.uris、write.retry.times、write.task.max.size 等。
Hudi面试内容整理-Hudi 的数据清理和压缩机制如何工作？
最新发布
不务正业的猿
05-11 140
Apache Hudi的数据清理（Cleaner）和压缩（Compaction）机制是其核心功能，旨在优化存储管理和提升查询性能。Cleaner通过定期清理旧版本数据文件，防止存储空间无限增长，提供KEEP_LATEST_COMMITS和KEEP_LATEST_FILE_VERSIONS两种清理策略，默认策略适用于支持时间旅行查询的场景。清理操作在满足特定条件时触发，支持同步和异步模式。Compaction在Merge-on-Read（MOR）表中，将增量日志文件与基础数据文件合并，提升查询性能。压缩流程包
hudi系列-小文件优化
1032851561的博客
06-05 2104
hudi使用mvcc来实现数据的读写一致性和并发控制，基于timeline实现对事务和表服务的管理，会产生大量比较小的数据文件和元数据文件。大量小文件会对存储和查询性能产生不利影响，包括增加文件系统的开销、文件管理的复杂性以及查询性能的下降。对于namenode而言，当整个集群中文件数到了几千万，就已经会变得很不稳定了。
一文彻底理解 Apache Hudi 的清理服务
SmartSi
08-28 372
Apache Hudi 提供了 MVCC 并发模型，保证写入端和读取端之间快照级别隔离。在本篇博客中我们将介绍如何配置来管理多个文件版本，此外还将讨论用户可使用的清理机制，以了解如何维护所需数量的旧文件版本，以使长时间运行的读取端不会失败。
一文彻底理解Apache Hudi的清理服务
xleesf
06-15 834
欢迎关注微信公众号：ApacheHudi Apache Hudi提供了MVCC并发模型，保证写入端和读取端之间快照级别隔离。在本篇博客中我们将介绍如何配置来管理多个文件版本，此外还将讨论用户可使用的清理机制，以了解如何维护所需数量的旧文件版本，以使长时间运行的读取端不会失败。 1. 回收空间以控制存储成本 Hudi 提供不同的表管理服务来管理数据湖上表的数据，其中一项服务称为Cleaner（清理服务）。 随着用户向表中写入更多数据，对于每次更新，Hudi会生成一个新版本的数据文件用于保存更新后的记录(C
数据湖之Hudi（8）：数据湖Hudi的数据管理
yang_shibiao的博客
02-23 2942
目录 0. 相关文章链接 1. 表数据结果 2..hoodie文件 3. 数据文件 4.数据存储概述 5.Metadata 元数据 6.Index 索引 7.Data 数据 0. 相关文章链接 大数据基础知识点 文章汇总 1. 表数据结果 Hudi表的数据文件，可以使用操作系统的文件系统存储，也可以使用HDFS这种分布式的文件系统存储。为了后续分析性能和数据的可靠性，一般使用HDFS进行存储。以HDFS存储来看，一个Hudi表的存储文件分为两类。 ...
Hudi COW表的数据膨胀（清除历史版本）问题
Laurence的技术博客
04-08 2753
本文要讨论的是这样一个问题：使用Hudi的COW表时，有一个很明显的现象：当表中有大量的更新数据写入时，落地的parquet文件往往总大小往往要double，每写入一次就会double一次，对于数据体量非常大，且每次都有大量更新的数据来说，不禁会让人担心：这种数据膨胀是否会快速耗尽存储资源？有没有可以克制的方法？其实，这并不是一个问题，而是Hudi表的正常表现，我们先从原理上来看一下产生这个问题背后的原因。 对于Huidi COW表的工作方式，下图有非常清晰的演示： 我们要注意到：Copy-On-Writ
Hudi的相关参数配置
qq_44780870的博客
05-08 1644
hoodie.table.compaction.strategy: 压缩策略，包括 org.apache.hudi.DefaultCompactionStrategy、org.apache.hudi.AvroCompactionStrategy 和 org.apache.hudi.timeline.service.FIFOCleanBasedCompactionStrategy 等。hoodie.datasource.write.partitionpath.field: 分区键的字段名。
Amazon EMR Hudi 性能调优——Clustering
亚马逊云科技专栏
08-14 801
随着数据体量的日益增长，人们对 Hudi 的查询性能也提出更多要求，除了 Parquet 存储格式本来的性能优势之外，还希望 Hudi 能够提供更多的性能优化的技术途径，尤其当对 Hudi 表进行高并发的写入，产生了大量的小文件之后，又需要使用 Presto/Trino 对 Hudi 表进行高吞吐的即席查询的场景里。怎样处理这些小文件，即把原本是写优化的Hudi 表，让它也能支持读优化，就成了使用 Hudi 的用户需要解决的问题。
Hudi：数据湖优化利器，实时数据分析新选择
gitblog_00098的博客
04-17 572
Hudi：数据湖优化利器，实时数据分析新选择 Hudi（Hadoop Optimized Unified Data Lake）是由Uber开源的一个大数据处理框架，它旨在解决大规模数据湖中的数据更新、查询和管理问题。在Apache Software Foundation的支持下，Hudi已经成为了活跃的社区项目，提供了一种高效的数据湖解决方案。 项目简介 Hudi的核心特性在于它的“增量文件”概念...
Apache Hudi数据湖的Flink优化参数
Bulut0907
06-13 1593
目录1. 表参数1.1 Memory1.2 Parallelism1.3 Compaction 1. 表参数 1.1 Memory 参数名称 描述 默认值 备注 write.task.max.size 每个write task使用的最大内存，超过则对数据进行flush 1024MB write buffer使用的内存 = write.task.max.size - compaction.max_memory，当write buffer总共使用的内存超过限制，则将最大的buffer进行flus
hudi-flink核心参数设置
m0_71551473的博客
11-01 1677
Hudi参数设置-- 设置单个主键...) with (...)-- 设置联合主键f0 int,...) with (...)主键字段--支持主键语法 PRIMARY KEY 设置，支持逗号分隔的多个字段(0.13.0 之前版本为去重时间字段--record 合并的时候会按照该字段排序，选值较大的 record 为合并结果；不指定则为处理序：选择后到的 record并发参数名称说明默认值备注writer的并发，每个writer顺序写1~N个。
Hudi（四）集成Flink（2）
Yuan_CSDF的博客
05-31 1286
当前表，即读取最新的全量快照数据并一次性返回。通过参数 read.streaming.enabled 参数开启流读模式，通过 read.start-commit 参数指定起始消费位置，支持指定 earliest 从最早消费。
Hudi cleaning-异步操作
Rocky
12-17 574
由于全量更新第一次的所有数据文件，更新后添加对应的一组 file 信息。执行完成后，会生成一个clean 的时间线。同时删除历史版本的数据。由于数据全量更新第一次的所有数据文件。第二步 update数据。第四步 Cleaning。
hudi-spark-buind
03-31
<think>嗯，用户的问题是关于Hudi和Spark的绑定集成设置配置。首先，我需要回忆一下Hudi和Spark结合的基本步骤。记得Hudi需要特定的Spark Session扩展和配置参数，比如设置Kryo序列化和HoodieSparkSessionExtension。然后，用户提到的引用里提到了不同版本的Hudi，比如0.13.0和0.14.1，可能需要注意版本兼容性，特别是Spark的版本，比如3.2.3。 用户提供的引用中有几个关键点。引用[4]提到了核心参数，比如spark.serializer和spark.sql.extensions，这些是配置Spark必须的。同时，引用[5]提供了bundle jar的下载链接，说明可能需要使用预编译的jar包来解决依赖问题。另外，引用[2]提到Spark SQL与其他组件的集成，比如Spark Streaming和MLlib，所以在配置时要确保这些组件也能正确使用Hudi。 接下来，我应该分步骤来指导用户如何配置。首先是环境准备，确保Spark和Hudi版本兼容。然后，配置Spark Session，添加必要的扩展和参数。之后是依赖管理，用户可能需要下载Hudi的bundle jar，或者通过Maven引入依赖。还需要注意Hudi表的基本操作示例，比如写入数据，这样用户能验证配置是否成功。 另外，用户可能遇到的常见问题，比如版本不匹配、类冲突、序列化问题，这些都需要在回答中提及解决方法。例如，Kryo序列化配置不正确会导致任务失败，所以需要检查spark.serializer的设置。 最后，生成相关问题，帮助用户深入理解，比如优化配置、版本升级影响和集成其他组件的方法。这样用户不仅能解决当前问题，还能扩展应用场景。</think>### Hudi与Spark绑定集成配置步骤 #### 一、环境准备 1. **版本兼容性** Hudi与Spark的版本需严格匹配，例如： - Hudi 0.14.1 + Spark 3.2.x/3.3.x[^4] - 若使用Hudi 0.13.0，需注意其已知bug（如Spark SQL扩展兼容性问题），建议升级到0.14.1[^1] 2. **依赖配置** - **方式1**：直接下载预编译的Hudi Bundle JAR（如`hudi-spark3.1-bundle_2.12-0.13.0-SNAPSHOT.jar`[^5]） - **方式2**：通过Maven引入依赖： ```xml <dependency> <groupId>org.apache.hudi</groupId> <artifactId>hudi-spark3.1-bundle_2.12</artifactId> <version>0.14.1</version> </dependency> ``` #### 二、Spark Session配置 启动Spark Shell或提交任务时需添加核心参数： ```bash spark-shell \ --conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer' \ --conf 'spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension' \ --jars /path/to/hudi-spark-bundle.jar ``` - `KryoSerializer`：提升序列化性能 - `HoodieSparkSessionExtension`：启用Hudi的Spark SQL扩展功能[^4] #### 三、Hudi表操作示例 ```scala // 创建Hudi表 val df = spark.read.parquet("hdfs://path/to/source_data") df.write.format("hudi") .option("hoodie.table.name", "user_profile") .option("hoodie.datasource.write.operation", "upsert") .option("hoodie.datasource.write.table.type", "COPY_ON_WRITE") .mode("overwrite") .save("hdfs://path/to/hudi_table") ``` #### 四、常见问题解决 1. **类冲突** 使用`--packages`参数指定精确版本： ```bash --packages org.apache.hudi:hudi-spark3.1-bundle_2.12:0.14.1 ``` 2. **元数据管理** 通过Spark SQL Procedures执行Rollback等操作： ```sql CALL run_rollback('hudi_table', '20231012000000') ``` 需确保Hudi Procedures的版本与集群环境一致 3. **集成Spark Streaming** 实时写入时需配置Hudi的异步Compaction： ```scala .option("hoodie.cleaner.policy", "KEEP_LATEST_COMMITS") .option("hoodie.cleaner.commits.retained", 3) ``` 结合Spark Streaming可实现分钟级数据可见性[^2]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值