hudi系列-文件压缩（compaction）

已于 2022-08-23 09:31:23 修改
阅读量8.2k 收藏 3
点赞数
CC 4.0 BY-SA版权
分类专栏： hudi系列 文章标签： hudi compact 压缩
于 2022-08-17 17:13:17 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/czmacd/article/details/126390291
本文介绍了Hudi的压缩（compaction）在MergeOnRead表中的作用，详细阐述了压缩的触发策略、压缩策略选择以及压缩的异步、同步和离线方式。并详细展示了异步压缩的流程，包括生成压缩计划、执行压缩、检查压缩状态等步骤。

1. 简介

压缩（compaction）仅作用于MergeOnRead类型表，MOR表每次增量提交（deltacommit）都会生成若干个日志文件（行存储的avro文件），为了避免读放大以及减少文件数量，需要配置合适的压缩策略将增量的log file合并到base file（parquet）中。

1.1 环境

  • flink 1.13.6
  • hudi 0.11.0

1.2 触发策略

提供4种触发策略，可通过hoodie.compact.inline.trigger.strategy / compaction.trigger.strategy​进行配置：

  • NUM_COMMITS：达到N次commit时触发压缩，默认的触发策略，默认值为5次，通过hoodie.compact.inline.max.delta.commits ​/ compaction.delta_commits配置
  • TIME_ELAPSED：自上次压缩以来经过的时间 > N 秒时触发压缩，通过hoodie.compact.inline.max.delta.seconds​ / compaction.delta_seconds​配置
  • NUM_AND_TIME：NUM_COMMITS和TIME_ELAPSED同时满足时触发压缩
  • NUM_OR_TIME：NUM_COMMITS或TIME_ELAPSED同时满足时触发压缩

了解本专栏 订阅专栏 解锁全文 超级会员免费看
数据湖（三）：Hudi概念术语
Lansonli（蓝深李）的博客
05-27 1410
大数据联盟地址：https://bbs.youkuaiyun.com/forums/lanson 文章目录 Hudi概念术语 一、Timeline 二、文件格式及索引 三、表类型 1、​​​​​​​​​​​​​​Copy On Write - COW 2、​​​​​​​​​​​​​​Merge On Read- MOR 3、​​​​​​​​​​​​​​COW&MOR对比 四、​​​​​​​​​​​​​​查询类型 Hudi概念术语 一、Timeline Hudi数据湖可以维护很多...
Hudi数据湖_数据写_非分区表_key生成和删除策略_数据读与Compaction原理_集成Spark环境准备和启动Shell_Spark操作hudi配置---大数据之Hudi数据湖工作笔记0011
添柴程序猿的专栏
12-28 301
2.对于COW表进行的upsert的时候,有.parquet文件的时候,会先读取日志文件,然后创建索引,然后再去读取.parquet文件,这样就把日志文件中的数据和原来的.parquet中的数据进行合并,然后把合并的数据写入到.新的.parquet文件中,这样就完成了compaction合并。1.如果是COW表进行的insert的时候,并且没有.parquet文件的时候,就是还没有生成要插入数据的.parquet文件的时候,会直接合并所有的日志文件,并写入到.parquet文件中。这个操作不是物理删除。
Flink Hudi 测试
L, there!
09-30 1508
组件版本 组件 版本 Java 1.8.251 Scala 1.12.14 Flink 1.12.2 hudi 0.9.0 Hadoop 2.9.2 Hive 2.3.6 将hdfs-site.xml，core
Flink + Hudi 实现多流拼接(大宽表)
j简说Linux的博客
11-09 4709
经典场景Flink 侧实现业务侧通常会基于实时计算引擎在流上做多个数据源的 JOIN 产出这个宽表，但这种解决方案在实践中面临较多挑战，主要可分为以下两种情况：我们基于Hudi Payload的合并机制，开发出了一种全新的多流join的解决方案:该方案在存储层提供对多流数据的关联能力，旨在解决实时场景下多流 join遇到的一系列问题。在所有的表中维护了一个包含在不同的即时(Instant)时间对数据集操作(比如新增、修改或删除)的时间轴(Timeline)。在每一次对hudi表的数据集操作时都会在该表的Ti
Hudi Compaction
chbxw
04-16 430
默认情况下，Hudi 压缩是异步执行的。分2步执行。
探索 Apache Hudi 核心概念 (3) - Compaction
Laurence的技术博客
04-10 2735
本文首发于Apache Hudi公众号。Compaction是MOR表的一项核心机制，Hudi利用Compaction将MOR表产生的Log File合并到新的Base File中。本文我们会通过Notebook介绍并演示Compaction的运行机制，帮助您理解其工作原理和相关配置。
Apache hudi 0.10.1学习笔记之压缩Compaction(上篇)——压缩计划的生成
ImStarBoy的博客
04-19 6029
hudi 学习--压缩计划生成
hudi实战-- hudi on flink 参数配置大全
阿华田的博客
01-05 1257
1.设置单个主键2.设置联合主键。
Hudi小文件压缩
m0_57320261的博客
03-07 1238
为了避免这种情况的发生，flink离线压缩hudi表每次只压缩一个commit，这样可以保证每个commit的数据都被完整地压缩，同时也减小了故障发生的概率，提高了数据的可靠性。此外，这种方式还可以实现增量压缩，只压缩新增或者修改的数据，而不需要重新压缩整个数据集，可以提高压缩效率。当我们压缩多个commit时，会先将这些commit的数据合并到一个新的commit里面，然后再进行压缩，但是如果在合并的过程中发生了故障，就有可能导致合并后的数据丢失，这样就会导致数据不完整或者出现错误。
Hudi压缩(compaction)实现分析
ksmou的博客
08-07 1311
Hudi 写 MergeOnRead 表时为提高流式写入速度，直接以 Avro 格式向文件系统中写入 log 文件，然后提供一种数据压缩的的方式对 log 文件进行压缩，如果合并计划中只含有 log 文件，则将 log 文件压缩成 parquet 文件，然后开始写新的 log 文件，如果合并计划同时包含 log 文件和 parquet 文件，则将两种格式的文件进行压缩生成新的 parquet 文件，然后开始写新的 log 文件，Hudi 将这种压缩方式称为 Compaction。
【Apache Hudi】一种基于增量日志文件数的压缩策略
苏苏爱自由
09-21 1335
Hudi 提供了一种新的表类型：MOR 表。该表在每次的 upsert 操作时，并不会实时的和基础数据文件进行合并，而是生成新的增量日志文件，而增量文件和基础文件的合并就叫做压缩（compaction）。所以当一个读操作读取 MOR 表时，此时会读取该表的基础数据文件和所有的增量日志文件，然后进行一个合并操作（比如根据主键聚合取更新时间最新的那条数据），最后将合并后的结果返回给终端。
Apache hudi 0.10.1学习笔记之压缩Compaction(下篇)——执行压缩计划
ImStarBoy的博客
04-20 4557
之前的压缩计划生成后，被保存在basePath/.hoodie下的instanttime.compaction.request文件里。 现在可以继续从执行压缩计划的角度进行。同样使用compactor类来提交spark作业，参数里可以带压缩计划对应的instantTime，也可以不带，不带的话则是找到时间最早对应的压缩计划。本文还是以MOR表，经手动异步压缩作为开始。 执行压缩计划部分，需要提前了解下该过程涉及的封装类，例如 RunCompactionActionExecutor、各种...
Apache Hudi初探(十)(与spark的结合)--hudi的Compaction操作
monkeyboy_tech的博客
07-22 877
这步操作主要是把生成的Compaction plan序列化成字节，并保存在相应的文件中，并生成一个Compaction的Request。baseFile，partitionPath，logFiles，还有Compaction策略。该方法主要是生成一个调度Compaction的计划。执行当前Commit的compaction操作。重新运行上次失败的Compaction计划。是够是异步Compaction计划生成。中，我们没有过多的解释Spark中。的实现，在这里详细说一下。
Hudi-基本概念(时间轴、文件布局、索引、表类型、查询类型、数据写、数据读、Compaction)
迷雾总会解
02-13 2711
写入过程充分优化了文件存储的小文件问题，Copy On Write 写会一直将一个 bucket （FileGroup）的 base 文件写到设定的阈值大小才会划分新的 bucket；Merge On Read 写在同一个 bucket 中，log file 也是一直 append 直到大小超过设定的阈值 roll over。
大数据hudi之集成flink:离线 Compaction
weixin_43597208的博客
09-06 821
MOR 表的 compaction 默认是自动打开的，策略是 5 个 commits 执行一次压缩。 因为压缩操作比较耗费内存，和写流程放在同一个 pipeline，在数据量比较大的时候（10w+/s qps），容易干扰写流程，此时采用离线定时任务的方式执行 compaction 任务更稳定。
Hudi async/inline compaction
m0_59263036的博客
08-12 991
hudi compaction分析
【数据湖Hudi-9-Hudi集成Flink-核心参数&内存优化】
weixin_38136584的博客
01-12 1019
数据湖Hudi-9-Hudi集成Flink-核心参数&内存优化
Apache Hudi异步Compaction部署方式汇总
xleesf
09-15 1328
本篇文章对执行异步Compaction的不同部署模型一探究竟。 1. Compaction 对于Merge-On-Read表，数据使用列式Parquet文件和行式Avro文件存储，更新被记录到增量文件，然后进行同步/异步compaction生成新版本的列式文件。Merge-On-Read表可减少数据摄入延迟，因而进行不阻塞摄入的异步Compaction很有意义。 2. 异步Compaction 异步Compaction会进行如下两个步骤 调度Compaction：由摄取作业完成，在这一步，Hudi扫描分区
HIVE压缩及存储方式
weixin_46290444的博客
07-06 850
1. Gzip2. Bzip2优点： 支持分片，具有很高的压缩率，比gzip压缩率都高，Hadoop本身支持。缺点： 压缩/解压速度慢，不支持Hadoop native库。应用场景： 可以作为mapreduce作业的输出格式，输出之后的数据比较大，处理之后的数据需要压缩存档减少磁盘空间并且以后数据用得比较少的情况。3. LZO4. Snappy5. 总结 在其中textfile为默认格式，如果在创建hive表不提及，会默认启动textfile格式，导入数据时会直接把数据文件拷贝到hdfs上不进行处理；与此同
hudi文件布局
最新发布
05-08
通过时间戳（`commit time`）管理版本，压缩（Compaction）将日志合并到新基础文件，清理（Clean）删除过期文件片以释放空间[^3]。 #### 二、关键配置参数 | 配置项 | 说明 | 默认值 | |-------------------------...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值