数据湖组件Hudi中清理操作源码解析

数据湖组件hudi提供清理操作，清理策略对于数据管理和存储优化起着关键作用，其中hudi的清理策略主要分为：
KEEP_LATEST_COMMITS：保留最近的几次提交。
KEEP_LATEST_FILE_VERSIONS：保留每个文件的最近几个版本

hudi的清理功能讲解地址为：
https://cloud.tencent.com/developer/article/1842097
假设使用以下策略：

hoodie.cleaner.policy=KEEP_LATEST_COMMITS
hoodie.cleaner.commits.retained=2

hudi表的提交顺序为：

最终的结果为：

为啥官网说是保留最新3次提交，而我们的配置参数实际为2次

我们今天来分析一下保留最近几次提交的配置和源码的分析：

计算要保存的commmit，我们是5次commit，因此要保留的2次，因此， 5 -2 为3 ，从第4次commit来开始保存，应该是保存10：00之后的commit，但是官方给的图是保存9:30、10:00、10:30

然后再查看以下的代码：

planner.getDeletePaths(partitionPathToClean, earliestInstant))

再看一下最终获取要保留文件的代码：

CleanPlanner的getFilesToCleanKeepingLatestCommits方法

带入到我们的场景中：

lastVersion就是 10：00 ，lastVersionBeforeEarliestCommitToRetain 就是9：30，从源码来看符合最终出现的文件布局现象。