hudi系列-设置合理清理策略

已于 2022-11-15 22:24:16 修改
阅读量3.5k 收藏 2
点赞数 2
CC 4.0 BY-SA版权
分类专栏： hudi系列 文章标签： hudi 清理 clean 策略
于 2022-11-08 20:56:32 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/czmacd/article/details/127758646
本文详细介绍了Hudi的清理策略，包括默认的KEEP_LATEST_COMMITS策略，以及如何选择和配置基于时间的策略。推荐使用KEEP_LATEST_COMMITS，因为它在增量清理时能避免异常情况。建议根据应用需求和数据保留时长来设置合适的保留提交次数。

1. 默认清理策略

在hudi系列-旧文件清理（clean）中介绍了清理的大致流程，可以防止文件系统的无限膨胀，所以它是必须的。hudi提供三种查询方式：读优化、快照读、增量读，无论是哪种方式，由于hudi的文件组织是有版本的概念(FileGroup,FileSlice)，旧版本的文件持续在执行清理，如果被清理的文件正在读取或者即将被读取到，那岂不是很影响使用，所以我们需要设置合理的清理策略保障上层数据处理任务的平稳运行，提高系统的容错性。

  • KEEP_LATEST_COMMITS：默认策略，表示保留最后n次提交，默认为10 ，通过参数hoodie.cleaner.commits.retained​或clean.retain_commits​(flink)设置;
  • KEEP_LATES_FILE_VERSIONS：保留最后n个文件版本，默认为3，通过参数hoodie.cleaner.fileversions.retained设置;
  • KEEP_LATEST_BY_HOURS：保留最后n小时，默认24小时，通过参数hoodie.cleaner.hours.retained设置，这是0.11版本后新增的;

可以通过hoodie.cleaner.policy来配置使用以上哪一种清理策略。

2. 选择清理策略

在flink+hudi的使用场景中，一般

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hudi Clean Policy 清理策略实现分析
主要分享大数据相关的知识，如Spark、Hudi
06-02 823
总结Hudi Clean Policy清理策略,从源码层面分析如何实现
Hudi Clean 清理文件实现分析
主要分享大数据相关的知识，如Spark、Hudi
05-20 1166
前言 源码层面总结分析Hudi Clean是如何实现的，不了解Hudi Clean的可以先看这篇：一文彻底理解Apache Hudi的清理服务。 Hudi Clean主要是清理删除不需要的历史文件，可以根据实际业务需要配置参数，不能影响查询，比如某个查询语句正在用某个文件，Clean如果删除了这个文件，查询就会报错。 这里只是删除历史文件，Hudi的文件是有多个版本的，不管配置什么参数，使用什么策略，都不会删除当前最新版本的文件。 Hudi 0.9.0版本有两种清理策略KEEP_LATEST_COMMITS
hudi0.13版本clean策略
努力奔跑的蜗牛
05-27 1005
hudi0.13版本清理策略
【数据湖Hudi-9-Hudi集成Flink-核心参数&内存优化】
weixin_38136584的博客
01-12 1036
数据湖Hudi-9-Hudi集成Flink-核心参数&内存优化
Apache Hudi数据湖的Flink优化参数
Bulut0907
06-13 1693
目录1. 表参数1.1 Memory1.2 Parallelism1.3 Compaction 1. 表参数 1.1 Memory 参数名称 描述 默认值 备注 write.task.max.size 每个write task使用的最大内存，超过则对数据进行flush 1024MB write buffer使用的内存 = write.task.max.size - compaction.max_memory，当write buffer总共使用的内存超过限制，则将最大的buffer进行flus
Hudi面试内容整理-Hudi 的数据清理和压缩机制如何工作？
最新发布
不务正业的猿
05-11 184
Apache Hudi的数据清理（Cleaner）和压缩（Compaction）机制是其核心功能，旨在优化存储管理和提升查询性能。Cleaner通过定期清理旧版本数据文件，防止存储空间无限增长，提供KEEP_LATEST_COMMITS和KEEP_LATEST_FILE_VERSIONS两种清理策略，默认策略适用于支持时间旅行查询的场景。清理操作在满足特定条件时触发，支持同步和异步模式。Compaction在Merge-on-Read（MOR）表中，将增量日志文件与基础数据文件合并，提升查询性能。压缩流程包
hudi系列-小文件优化
1032851561的博客
06-05 2194
hudi使用mvcc来实现数据的读写一致性和并发控制，基于timeline实现对事务和表服务的管理，会产生大量比较小的数据文件和元数据文件。大量小文件会对存储和查询性能产生不利影响，包括增加文件系统的开销、文件管理的复杂性以及查询性能的下降。对于namenode而言，当整个集群中文件数到了几千万，就已经会变得很不稳定了。
hudi系列-旧文件清理（clean）
1032851561的博客
08-04 8900
hudi采用的是mvcc设计，提供了清理工具cleaner来把旧版本的文件分片删除，默认开启了清理功能，可以防止文件系统的存储空间和文件数量的无限增长。
Hudi学习笔记2 - Hudi配置
一见
05-06 1013
Flink SQL source/sink connectors 的配置，如：index.type、write.tasks、write.operation、clean.policy、clean.retain_commits、clean.retain_hours、compaction.max_memory、hive_sync.db、hive_sync.table、hive_sync.metastore.uris、write.retry.times、write.task.max.size 等。
一文彻底理解 Apache Hudi 的清理服务
SmartSi
08-28 487
Apache Hudi 提供了 MVCC 并发模型，保证写入端和读取端之间快照级别隔离。在本篇博客中我们将介绍如何配置来管理多个文件版本，此外还将讨论用户可使用的清理机制，以了解如何维护所需数量的旧文件版本，以使长时间运行的读取端不会失败。
一文彻底理解Apache Hudi的清理服务
xleesf
06-15 892
欢迎关注微信公众号：ApacheHudi Apache Hudi提供了MVCC并发模型，保证写入端和读取端之间快照级别隔离。在本篇博客中我们将介绍如何配置来管理多个文件版本，此外还将讨论用户可使用的清理机制，以了解如何维护所需数量的旧文件版本，以使长时间运行的读取端不会失败。 1. 回收空间以控制存储成本 Hudi 提供不同的表管理服务来管理数据湖上表的数据，其中一项服务称为Cleaner（清理服务）。 随着用户向表中写入更多数据，对于每次更新，Hudi会生成一个新版本的数据文件用于保存更新后的记录(C
数据湖之Hudi（8）：数据湖Hudi的数据管理
yang_shibiao的博客
02-23 3142
目录 0. 相关文章链接 1. 表数据结果 2..hoodie文件 3. 数据文件 4.数据存储概述 5.Metadata 元数据 6.Index 索引 7.Data 数据 0. 相关文章链接 大数据基础知识点 文章汇总 1. 表数据结果 Hudi表的数据文件，可以使用操作系统的文件系统存储，也可以使用HDFS这种分布式的文件系统存储。为了后续分析性能和数据的可靠性，一般使用HDFS进行存储。以HDFS存储来看，一个Hudi表的存储文件分为两类。 ...
Hudi COW表的数据膨胀（清除历史版本）问题
Laurence的技术博客
04-08 2949
本文要讨论的是这样一个问题：使用Hudi的COW表时，有一个很明显的现象：当表中有大量的更新数据写入时，落地的parquet文件往往总大小往往要double，每写入一次就会double一次，对于数据体量非常大，且每次都有大量更新的数据来说，不禁会让人担心：这种数据膨胀是否会快速耗尽存储资源？有没有可以克制的方法？其实，这并不是一个问题，而是Hudi表的正常表现，我们先从原理上来看一下产生这个问题背后的原因。 对于Huidi COW表的工作方式，下图有非常清晰的演示： 我们要注意到：Copy-On-Writ
数据湖组件Hudi中清理操作源码解析
weixin_41843527的博客
09-08 475
数据湖Hudi清理策略讲解
ApacheHudi使用问题汇总(二)
风中云彩的博客
01-08 3169
1. Hudi Cleaner是做什么的？ Hudi Cleaner（清理程序）通常在 commit和 deltacommit之后立即运行，删除不再需要的旧文件。如果在使用增量拉取功能，请确保配置了清理项来保留足够数量的commit(提交)，以便可以回退，另一个考虑因素是为长时间运行的作业提供足够的时间来完成运行。否则，Cleaner可能会删除该作业正在读取或可能被其读取的文件，并...
Hudi cleaning
Rocky
12-17 1175
随着用户向表中写入的数据越多，对于每一次的更新，hudi都会产生一个版本的数据文件保存更新后的记录（COPY_ON_WRITE）或者是将这些增量更新的数据文件写入日志文件以避免重写更新版本的数据文件（MERGE-ON_READ）。在这个情况下，随着更新频率的增加，数据版本文件无限增长。当知道在任何给定时间想要保留多少个 MAX 版本的文件时，此策略很有用，为了实现与以前相同的防止长时间运行的查询失败的行为，应该根据数据模式进行计算，或者如果用户只想维护文件的 1 个最新版本，此策略也很有用。
Hudi的相关参数配置
qq_44780870的博客
05-08 1831
hoodie.table.compaction.strategy: 压缩策略，包括 org.apache.hudi.DefaultCompactionStrategy、org.apache.hudi.AvroCompactionStrategy 和 org.apache.hudi.timeline.service.FIFOCleanBasedCompactionStrategy 等。hoodie.datasource.write.partitionpath.field: 分区键的字段名。
Amazon EMR Hudi 性能调优——Clustering
亚马逊云科技专栏
08-14 864
随着数据体量的日益增长，人们对 Hudi 的查询性能也提出更多要求，除了 Parquet 存储格式本来的性能优势之外，还希望 Hudi 能够提供更多的性能优化的技术途径，尤其当对 Hudi 表进行高并发的写入，产生了大量的小文件之后，又需要使用 Presto/Trino 对 Hudi 表进行高吞吐的即席查询的场景里。怎样处理这些小文件，即把原本是写优化的Hudi 表，让它也能支持读优化，就成了使用 Hudi 的用户需要解决的问题。
超级重磅！Apache Hudi多模索引对查询优化高达30倍
Focus on Lakehouse
06-07 792
与许多其他事务数据系统一样，索引一直是 Apache Hudi 不可或缺的一部分，并且与普通表格式抽象不同。在这篇博客中，我们讨论了我们如何重新构想索引并在 Apache Hudi 0.11.0 版本中构建新的多模式索引，这是用于 Lakehouse 架构的首创高性能索引子系统，以优化查询和写入事务，尤其是对于大宽表而言。1. 为什么在 Hudi 中使用多模索引索引[1]...
hudi-spark-buind
03-31
<think>嗯，用户的问题是关于Hudi和Spark的绑定集成设置配置。首先，我需要回忆一下Hudi和Spark结合的基本步骤。记得Hudi需要特定的Spark Session扩展和配置参数，比如设置Kryo序列化和HoodieSparkSessionExtension。然后，用户提到的引用里提到了不同版本的Hudi，比如0.13.0和0.14.1，可能需要注意版本兼容性，特别是Spark的版本，比如3.2.3。 用户提供的引用中有几个关键点。引用[4]提到了核心参数，比如spark.serializer和spark.sql.extensions，这些是配置Spark必须的。同时，引用[5]提供了bundle jar的下载链接，说明可能需要使用预编译的jar包来解决依赖问题。另外，引用[2]提到Spark SQL与其他组件的集成，比如Spark Streaming和MLlib，所以在配置时要确保这些组件也能正确使用Hudi。 接下来，我应该分步骤来指导用户如何配置。首先是环境准备，确保Spark和Hudi版本兼容。然后，配置Spark Session，添加必要的扩展和参数。之后是依赖管理，用户可能需要下载Hudi的bundle jar，或者通过Maven引入依赖。还需要注意Hudi表的基本操作示例，比如写入数据，这样用户能验证配置是否成功。 另外，用户可能遇到的常见问题，比如版本不匹配、类冲突、序列化问题，这些都需要在回答中提及解决方法。例如，Kryo序列化配置不正确会导致任务失败，所以需要检查spark.serializer的设置。 最后，生成相关问题，帮助用户深入理解，比如优化配置、版本升级影响和集成其他组件的方法。这样用户不仅能解决当前问题，还能扩展应用场景。</think>### Hudi与Spark绑定集成配置步骤 #### 一、环境准备 1. **版本兼容性** Hudi与Spark的版本需严格匹配，例如： - Hudi 0.14.1 + Spark 3.2.x/3.3.x[^4] - 若使用Hudi 0.13.0，需注意其已知bug（如Spark SQL扩展兼容性问题），建议升级到0.14.1[^1] 2. **依赖配置** - **方式1**：直接下载预编译的Hudi Bundle JAR（如`hudi-spark3.1-bundle_2.12-0.13.0-SNAPSHOT.jar`[^5]） - **方式2**：通过Maven引入依赖： ```xml <dependency> <groupId>org.apache.hudi</groupId> <artifactId>hudi-spark3.1-bundle_2.12</artifactId> <version>0.14.1</version> </dependency> ``` #### 二、Spark Session配置 启动Spark Shell或提交任务时需添加核心参数： ```bash spark-shell \ --conf 'spark.serializer=org.apache.spark.serializer.KryoSerializer' \ --conf 'spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension' \ --jars /path/to/hudi-spark-bundle.jar ``` - `KryoSerializer`：提升序列化性能 - `HoodieSparkSessionExtension`：启用Hudi的Spark SQL扩展功能[^4] #### 三、Hudi表操作示例 ```scala // 创建Hudi表 val df = spark.read.parquet("hdfs://path/to/source_data") df.write.format("hudi") .option("hoodie.table.name", "user_profile") .option("hoodie.datasource.write.operation", "upsert") .option("hoodie.datasource.write.table.type", "COPY_ON_WRITE") .mode("overwrite") .save("hdfs://path/to/hudi_table") ``` #### 四、常见问题解决 1. **类冲突** 使用`--packages`参数指定精确版本： ```bash --packages org.apache.hudi:hudi-spark3.1-bundle_2.12:0.14.1 ``` 2. **元数据管理** 通过Spark SQL Procedures执行Rollback等操作： ```sql CALL run_rollback('hudi_table', '20231012000000') ``` 需确保Hudi Procedures的版本与集群环境一致 3. **集成Spark Streaming** 实时写入时需配置Hudi的异步Compaction： ```scala .option("hoodie.cleaner.policy", "KEEP_LATEST_COMMITS") .option("hoodie.cleaner.commits.retained", 3) ``` 结合Spark Streaming可实现分钟级数据可见性[^2]
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值