Hudi系列21:离线Compaction

最新推荐文章于 2024-10-10 09:46:05 发布

只是甲

最新推荐文章于 2024-10-10 09:46:05 发布

阅读量879

点赞数

分类专栏：大数据和数据仓库 # 数据湖文章标签： java 大数据 hadoop

本文链接：https://blog.youkuaiyun.com/u010520724/article/details/130741761

版权

290 篇文章

订阅专栏

26 篇文章

订阅专栏

文章介绍了离线Compaction在处理大数据量的MOR表时的优势，通过关闭在线compaction，启用定时任务执行compaction以避免对写流程的干扰。设置了相关参数如并发任务数、内存限制等，并提供了使用Java程序手动执行离线compaction的命令示例。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一. 离线Compaction 概述

MOR 表的 compaction 默认是自动打开的，策略是 5 个 commits 执行一次压缩。因为压缩操作比较耗费内存，和写流程放在同一个 pipeline，在数据量比较的时候 (10W+/s qps),容易干扰写流程，此时采用离线定时任务的方式执行 compaction 任务更稳定。

一个 compaction 的任务的执行包括两部分:

执行命令:
离线 compaction 需要手动执行 Java 程序，程序入口:

// 命令行方式
./bin/flink run -c org.apache.hudi.sink.compact.HoodieFlinkCompactor lib/hudi-flink1.14-bundle-0.12.0.jar --path hdfs://xxx:8020/table

参数名	required	默认值值	备注
–path	true	–	目标表的路径
–compaction-tasks	false	-1	压缩 task 的并发，默认是待压缩 file group 的数量
–compaction-max-memory	false	100 (单位 MB)	压缩时 log 数据的索引 map，默认 100MB，内存足够可以开大些
–scheduler	false	false	是否要执行 schedule compaction 的操作
–seq	false	LIFO	执行压缩任务的顺序，默认是从最新的压缩plan 开始执行，可选值: LIFO：从最新的plan开始执行； FIFO: 从最老的plan开始执行
–service	false	false	是否开启 service 模式，service模式会打开常驻进程，一直监听压缩并提交到集群执行(从0.11 开始执行)
–min-compaction-interval-seconds	false	600 (单位秒)	service 模式下的执行间隔，默认10分钟