hudi系列-旧文件清理（clean）

已于 2022-08-10 09:06:45 修改
阅读量8.8k 收藏 4
点赞数 1
CC 4.0 BY-SA版权
分类专栏： hudi系列 文章标签： 大数据 hudi clean 清理 flink
于 2022-08-04 15:30:00 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/czmacd/article/details/126160247
本文介绍了Hudi的旧文件清理机制，包括清理保留策略和触发策略。Hudi使用MVCC设计，通过cleaner工具删除旧版本文件，防止存储空间和文件数量无限制增长。清理策略包括基于提交次数、文件版本和时间保留。清理流程涉及初始化、启动入口和逻辑执行，包括生成清理计划、刷新ActiveTimeline缓存以及执行清理计划。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. 简介

hudi采用的是mvcc设计，提供了清理工具cleaner来把旧版本的文件分片删除，默认开启了清理功能，可以防止文件系统的存储空间和文件数量的无限增长。

1.1 环境

  • flink 1.13.6
  • hudi 0.11.0

1.2 清理保留策略

清理旧文件需要考虑数据查询的情况，有些长查询会占用着旧版本的文件，需要设置合适的清理策略来保留一定数量的commit或者文件版本，以提高系统的容错性

  • KEEP_LATEST_COMMITS：默认策略，表示保留最后n次提交，默认为10，通过参数hoodie.cleaner.commits.retained​或clean.retain_commits​(flink)设置
  • KEEP_LATEST_FILE_VERSIONS：保留最后n个文件版本，默认为3，通过参数hoodie.cleaner.fileversions.retained设置​
  • KEEP_LATEST_BY_HOURS：保留最后n小时，默认24小时，通过参数hoodie.cleaner.hours.retained设置，这是0.11版本后新增的

1.3 清理触发策略

目前仅支持一种触发清理的策略：CleaningTriggerStrategy#NUM_COMMITS，即根据提交的次数，默认为1，可以通过设置参数hoodie.clean.max

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hudi Clean 清理文件实现分析
主要分享大数据相关的知识，如Spark、Hudi
05-20 1094
前言 源码层面总结分析Hudi Clean是如何实现的，不了解Hudi Clean的可以先看这篇：一文彻底理解Apache Hudi的清理服务。 Hudi Clean主要是清理删除不需要的历史文件，可以根据实际业务需要配置参数，不能影响查询，比如某个查询语句正在用某个文件，Clean如果删除了这个文件，查询就会报错。 这里只是删除历史文件，Hudi的文件是有多个版本的，不管配置什么参数，使用什么策略，都不会删除当前最新版本的文件。 Hudi 0.9.0版本有两种清理策略KEEP_LATEST_COMMITS
Hudi Clean Policy 清理策略实现分析
主要分享大数据相关的知识，如Spark、Hudi
06-02 790
总结Hudi Clean Policy清理策略,从源码层面分析如何实现
Apache Hudi数据湖的Cleaning服务
Bulut0907
06-14 722
目录1. 介绍2. Cleaning Retention Policies3. Run Asynchronously4. CLI 1. 介绍 默认是自动进行clean，由参数hoodie.clean.automatic设置，表示在每一次commit的时候就clean file slices。推荐设置为true开启该功能 2. Cleaning Retention Policies KEEP_LATEST_COMMITS: 默认的policy，保留最近N次commit KEEP_LATEST_FILE_VE
hudi0.13版本clean策略
努力奔跑的蜗牛
05-27 885
hudi0.13版本清理策略
一文彻底理解Apache Hudi的清理服务
xleesf
06-15 831
欢迎关注微信公众号：ApacheHudi Apache Hudi提供了MVCC并发模型，保证写入端和读取端之间快照级别隔离。在本篇博客中我们将介绍如何配置来管理多个文件版本，此外还将讨论用户可使用的清理机制，以了解如何维护所需数量的旧文件版本，以使长时间运行的读取端不会失败。 1. 回收空间以控制存储成本 Hudi 提供不同的表管理服务来管理数据湖上表的数据，其中一项服务称为Cleaner（清理服务）。 随着用户向表中写入更多数据，对于每次更新，Hudi会生成一个新版本的数据文件用于保存更新后的记录(C
Apache Hudi初探(五)(与flink的结合)--Flink 中hudi clean操作
monkeyboy_tech的博客
09-27 1349
首先是反序列化CleanPlan,然后在进行清理，主要是删除1. 如果没有满足的分区，直接删除该分区，2. 否则删除该分区下的满足条件的文件,最后返回。HoodieFlinkMergeOnReadTable*类型的hudi表,用来做clean等操作。,也就是在写数据失败的时候，会立即进行这次写失败的数据的清理，在这种情况下，创建一个只有一个线程的线程池，改线程池的主要作用来异步执行hudi写操作。本文主要是具体说说Flink中的clean操作的实现。真正执行clean的部分，主要是调用。
hudi系列-设置合理清理策略
1032851561的博客
11-08 3445
在中介绍了清理的大致流程，除了可以防止文件系统的无限膨胀，它是必须的。hudi提供三种查询方式：读优化、快照读、增量读，无论是哪种方式，由于hudi的文件组织是有版本的概念(FileGroup,FileSlice)，旧版本的文件持续在执行清理，如果被清理的文件正在读取或者即将被读取到，那岂不是很影响使用，所以我们需要设置合理的清理策略保障上层数据处理任务的平稳运行，提高系统的容错性。可以通过来配置使用以上哪一种清理策略。
hudi系列-小文件优化
1032851561的博客
06-05 2094
hudi使用mvcc来实现数据的读写一致性和并发控制，基于timeline实现对事务和表服务的管理，会产生大量比较小的数据文件和元数据文件。大量小文件会对存储和查询性能产生不利影响，包括增加文件系统的开销、文件管理的复杂性以及查询性能的下降。对于namenode而言，当整个集群中文件数到了几千万，就已经会变得很不稳定了。
Apache Hudi - 2 - 基础功能&特性实践
修行者Gavin的博客
03-21 3002
实践了Hudi官网提到的部分特性（功能）
Hudi 清理器的是怎么工作的？
qq_36382892的博客
04-11 406
Hudi清理器的是怎么工作的？
Hudi COW表的数据膨胀（清除历史版本）问题
Laurence的技术博客
04-08 2737
本文要讨论的是这样一个问题：使用Hudi的COW表时，有一个很明显的现象：当表中有大量的更新数据写入时，落地的parquet文件往往总大小往往要double，每写入一次就会double一次，对于数据体量非常大，且每次都有大量更新的数据来说，不禁会让人担心：这种数据膨胀是否会快速耗尽存储资源？有没有可以克制的方法？其实，这并不是一个问题，而是Hudi表的正常表现，我们先从原理上来看一下产生这个问题背后的原因。 对于Huidi COW表的工作方式，下图有非常清晰的演示： 我们要注意到：Copy-On-Writ
一文彻底理解 Apache Hudi 的清理服务
SmartSi
08-28 367
Apache Hudi 提供了 MVCC 并发模型，保证写入端和读取端之间快照级别隔离。在本篇博客中我们将介绍如何配置来管理多个文件版本，此外还将讨论用户可使用的清理机制，以了解如何维护所需数量的旧文件版本，以使长时间运行的读取端不会失败。
湖仓一体介绍及spark操作hudi
chenlei0520的博客
02-08 1461
湖仓一体介绍及spark操作hudi
Apache Hudi 建表需要考虑哪些参数？（Spark）-- 上篇
507_fzs的博客
07-26 4894
创建 hudi 表，有哪些参数需要考虑？
Flink写入数据到Hudi数据湖的各种方式 + Flink从Hudi数据湖读取数据的各种方式
Bulut0907
06-13 6129
目录1. CDC Ingestion 1. CDC Ingestion 有两种方式同步数据到Hudi 使用Flink CDC直接将Mysql的binlog日志同步到Hudi 数据先同步到Kafka/Pulsar等消息系统，然后再使用Flink cdc-format将数据同步到Hudi 注意：1. 如果upstream不能保证数据的order，则需要显式指定write.precombine.field 2. MOR类型的表，还不能处理delete，所以会导致数据不一致。可以通过changelog.enab
Hudi配置参数优化
m0_57320261的博客
02-28 864
3.数据去重:一批增量数据中可能会有重复的数据，Hudi会根据主键对数据进行去重避免重复数据写入Hudi 表。4.数据fileId位置信息获取:在修改记录中可以根据索引获取当前记录所属文件的fileid，在数据合并时需要知道数据update操作向那个fileId文件写入新的快照文件。8.hive元数据同步：hive 的元素数据同步这个步骤需要配置非必需操作，主要是对于hive 和presto 等查询引擎，需要依赖hive 元数据才能进行查询，所以hive元数据同步就是构造外表提供查询。
Hudi-基本概念(时间轴、文件布局、索引、表类型、查询类型、数据写、数据读、Compaction)
迷雾总会解
02-13 2498
写入过程充分优化了文件存储的小文件问题，Copy On Write 写会一直将一个 bucket （FileGroup）的 base 文件写到设定的阈值大小才会划分新的 bucket；Merge On Read 写在同一个 bucket 中，log file 也是一直 append 直到大小超过设定的阈值 roll over。
O] ------------------------------------------------------------------------ [INFO] Reactor Summary for Hudi 0.14.1: [INFO] [INFO] Hudi ............................................... FAILURE [01:22 min] [INFO] hudi-tests-common .................................. SKIPPED [INFO] hudi-common ........................................ SKIPPED [INFO] hudi-hadoop-mr ..................................... SKIPPED [INFO] hudi-sync-common ................................... SKIPPED [INFO] hudi-hive-sync ..................................... SKIPPED [INFO] hudi-aws ........................................... SKIPPED [INFO] hudi-timeline-service .............................. SKIPPED [INFO] hudi-client ........................................ SKIPPED [INFO] hudi-client-common ................................. SKIPPED [INFO] hudi-spark-client .................................. SKIPPED [INFO] hudi-spark-datasource .............................. SKIPPED [INFO] hudi-spark-common_2.12 ..................
最新发布
04-24
好的，我现在需要帮助用户解决Maven构建Hudi项目时出现的BUILD FAILURE问题，可能与POM文件缺失或目录错误有关。首先，我需要回想用户提供的引用内容，看看是否有相关的信息可以借鉴。 用户提到了引用[1]中的pom....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值