hudi系列-文件归档（archive）

已于 2022-11-07 16:43:13 修改
阅读量6.2k 收藏 2
点赞数 1
CC 4.0 BY-SA版权
分类专栏： hudi系列 文章标签： 数据库 服务器 运维
于 2022-09-16 15:43:18 首次发布
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/czmacd/article/details/126891750
本文介绍了Hudi的文件归档过程，包括每次commit触发的归档机制、归档Instant的选择、执行归档、删除归档文件以及归档结果的合并。归档旨在限制元数据文件数量，将较早的元数据移动到归档时间轴中。

1. 简介

hudi会不断生成commit、deltacommit、clean等类型的Instant从而形成活跃时间轴（ActiveTimeline），随着时间增长，时间轴变长，.hoodie元数据目录下的文件不断累积，为了限制元数据文件数量，需要对一些比较久远的元数据文件进行归档，保存到.hoodie/archived目录下，可以称之为归档时间轴（ArchivedTimeline）。

1.1 环境

  • flink 1.13.6
  • hudi 0.11.0
  • merge on read表

1.2 逻辑结构

在这里插入图片描述

2. 归档流程

2.1 每次commit触发归档

每次数据提交结束后都会触发archive操作HoodieFlinkWriteClient#postCommit，前提是开启了自动归档配置hoodie.archive.automatic

protected
了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hudi Java Client总结|读取Hive写Hudi代码示例
主要分享大数据相关的知识，如Spark、Hudi
10-27 5118
Hudi除了支持Spark、Fink写Hudi外，还支持Java客户端。本文总结Hudi Java Client如何使用，主要为代码示例，可以实现读取Hive表写Hudi表。当然也支持读取其他数据源，比如mysql，实现读取mysql的历史数据和增量数据写Hudi。
hudi系列-设置合理清理策略
1032851561的博客
11-08 3500
在中介绍了清理的大致流程，除了可以防止文件系统的无限膨胀，它是必须的。hudi提供三种查询方式：读优化、快照读、增量读，无论是哪种方式，由于hudi的文件组织是有版本的概念(FileGroup,FileSlice)，旧版本的文件持续在执行清理，如果被清理的文件正在读取或者即将被读取到，那岂不是很影响使用，所以我们需要设置合理的清理策略保障上层数据处理任务的平稳运行，提高系统的容错性。可以通过来配置使用以上哪一种清理策略。
数据湖浅析(以hudi为例)
weixin_45626756的博客
09-18 3818
数据湖浅析
大数据技术之Hudi
cliper9768的博客
02-12 2624
hudi
大数据之Hudi数据湖_基本概念_文件布局_存储方式_.parquet文件和.log文件_以及文件查找过滤方式_布隆过滤---大数据之Hudi数据湖工作笔记0006
添柴程序猿的专栏
10-18 1596
先来说一下,hudi的文件存储格式,首先跟hive一样,hudi,也是按照分区进行存储,这里对于hive来说一个分区就是一个目录,那么在hudi中也是这样,一个分区一个目录,这个目录中放的只有两种文件,一种是列式存储的文件,parquet 文件 还有一种是行式存储的log文件,log文件用的是阿弗罗格式的,avro格式的文件.然后在hudi中除了有分区以为,还有一个元数据,元数据是.hoodie格式的,元数据里面就包含了一个的instant 时刻对吧用来做timeline用的.
数据湖Hudi操作文档和实例代码
06-03
大多数大数据企业在构建数仓时采用Lambda架构，一条离线数仓链路，一条实时数仓链路。一些实时业务多的公司构建数仓时采用Kappa架构，但是也避免不了离线处理一些数据，所以一些公司也采用Kappa架构+Lambda架构方式构建数仓。以上不同的架构都有各自的优点及缺点，这里不再赘述。批数据处理与流式数据处理的不同效率决定了针对两类数据采用不同的架构进行分析处理，未来数据仓库的发展也终将走向批数据和流数据使用同一套架构处理，同时也要求批数据及流数据存储上也需要统一，这就所说的批流一体，那么使用什么技术可以既能满足批数据海量存储分析又能满足实时数据存储的效率高、支持数据更新删除？数据湖技术应运而生。Hudi 就是典型的数据湖技术，支持批数据和流式数据的存储，同时还支持高效的OLAP分析查询。 这份资料将会带领大家学习为什么要用数据湖技术、Hudi Timeline、Hudi文件格式及索引、Hudi表类型、Hudi与Spark、Flink框架整合等知识，如果你在学习、工作中针对批流一体数据处理场景正不知选择何种技术，在工作中使用到数据湖技术，那么下载这份资料绝对没错，可以快速学习真正使用数据湖
hdfs小文件处理-hive-spark-flink-hudi-iceberg
someInNeed的博客
02-23 466
提前规避 1.流式写入 调整流式写入的时间窗口是一个不错的选择，如果业务对实时性要求很高，那么可以根据数据类型（非结构化vs结构化）、append/update频率和数据使用模式（随机读取vs聚合），HBase和Kudu是存储层的更好选择。对于已经存在的小文件，也可以设置定期的Job对这些文件进行压缩、合并，以减少文件量和文件数量。 2.过度分区表 在决定分区的粒度时，要考虑到每个分区的数据量。为有大文件的分区做计划（用Parquet的话，约256MB或更大），即使这意味着有较少的粒度分..
Hudi 写入流程（图）
主要分享大数据相关的知识，如Spark、Hudi
07-05 426
主要为之前总结的源码文章补充流程图。总结一下整体流程。
Apache Hudi 从入门到放弃(2) —— MOR表的文件结构分析
狄杰的博客
05-02 6581
Apache Hudi 从入门到放弃(1) —— MOR表的文件结构分析 写在开始 本篇带大家分析一下Hudi中MOR表的文件结构 刚开始看Hudi一周，有什么不对的地方欢迎大家指出 事前准备 建表 -- 先准备一张Hudi MOR表 CREATE TABLE hudi_test_dijie( id bigint, dt string, ts TIMESTAMP(3), PRIMARY KEY(id) NOT ENFORCED ) PARTITIONED BY (`dt`) WITH ( 'co
HuDi 学习
weixin_44751637的博客
11-13 723
Update（Upsert ：插入的方式更新）/Delete记录：Hudi使用细粒度的文件/记录级别索引来支持 Update/Delete记录，同时还提供写操作的事物保证。查询会处理最后一个提交的快照，并给予此输出结果。 delete：伪删除，字段有一个flag 显示是否隐藏变更流：Hudi对获取变更提供的一流的支持：可以从给定的时间点获取给定表中已update、insert、delete 的所有记录的增量流，并解锁新的查询姿势（类别）。把Hudi当成Kafka用。数据的回溯Timeline： 增量 快照
Hudi-基本概念(时间轴、文件布局、索引、表类型、查询类型、数据写、数据读、Compaction)
迷雾总会解
02-13 2695
写入过程充分优化了文件存储的小文件问题，Copy On Write 写会一直将一个 bucket （FileGroup）的 base 文件写到设定的阈值大小才会划分新的 bucket；Merge On Read 写在同一个 bucket 中，log file 也是一直 append 直到大小超过设定的阈值 roll over。
Hudi（一）: 概览
Leven Data Sharing
01-09 2429
（Hadoop Upserts Deletes and Incrementals）是一个开源的大数据框架，主要用于处理大规模数据湖中的增量数据、数据更新和删除。Hudi 提供了一种高效的方式来处理数据流中的增量变化，特别适合需要更新、插入、删除操作的场景。它的核心理念是将传统的数据湖操作（如HDFS上的文件处理）与数据库的更新和增量数据处理能力结合起来，支持高效的写入、查询和管理大规模数据。Hudi 支持增量更新（upsert）操作，即在数据已存在的情况下，可以根据主键对已有数据进行更新。
流式数据湖平台Hudi核心概念四：文件布局
shangjg3的博客
11-09 417
表被划分为多个分区，这些分区是包含该分区的数据文件的文件夹，非常类似于。以时间轴的形式维护了在数据集上执行的所有操作的元数据；，这些日志文件包含自生成基本文件以来对基本文件的插入。目录对应着表的元数据信息，包括表的版本管理（）在每个分区中，文件被组织成文件组，由文件。操作：合并日志和基本文件以产生新的文件片。文件）是自己编码的，通过积攒数据。旧的文件片以回收文件系统上的空间。）每个文件组包含几个文件片（将一个表映射为如下文件结构。）、归档目录（存放过时的。）的行为、时间戳和状态，的实现中实现高效率的。
Hudi核心概念-文件存储布局
罗仲虎的博客
01-03 336
以下内容描述了 Hudi 表在存储中一般的文件组织结构。.hoodie。
大数据技术-Hudi学习笔记
xiaoyixiao_的博客
11-02 3896
大数据技术-Hudi数据湖学习笔记
Hudi学习笔记5 - Hudi配置分析（1）
一见
05-08 892
Hudi 官方配置文档：https://hudi.apache.org/docs/configurations，从源码分析可以看到配置项 hoodie.payload.ordering.field 已经废弃，取而代之的是 hoodie.datasource.write.precombine.field。
Hudi文章汇总
yang_shibiao的博客
04-02 5405
​Hudi文章汇总（0.12版本）： Hudi（1）：Hudi概述 Hudi（2）：Hudi的编译和安装 Hudi（3）：Hudi之基本概念 Hudi（4）：Hudi之数据写 Hudi（5）：Hudi之数据读 Hudi（6）：Hudi集成Spark之spark-shell 方式 Hudi（7）：Hudi集成Spark之spark-sql方式 Hudi（8）：Hudi集成Spark之code方式 Hudi（9）：Hudi集成Spark之DeltaStreamer导入工具 Hudi（10）：Hudi集成Spa
Hudi介绍
m0_57320261的博客
12-16 527
在数据不断写入 Hudi 期间，Hudi 会不断生成 commit、deltacommit、clean 等 Instant 记录每一次操作类型、状态及详细的元数据，这些 Instant 最终都会存到 .hoodie 元数据目录下，为了避免元数据文件数量过多，ActiveTimeline 越来越长，需要对比较久远的操作进行归档（archive），将这部分操作移到 .hoodie/archive 目录下，单独形成一个 ArchivedTimeline。Clean文件的存在可以确保数据的清理操作被记录和跟踪。
Apache Hudi详解
qq_46242326的博客
05-10 1136
Hudi从0到1快速回顾
Hudi-Parquet 存储格式中文件裁剪
最新发布
07-24
Hudi 的 Parquet 存储格式在文件裁剪方面依赖于索引机制和文件元数据管理，以实现高效的查询性能和数据过滤。文件裁剪是指在查询过程中，系统能够跳过不相关的数据文件，从而减少 I/O 操作和计算资源的消耗。以下是 Hudi Parquet 存储格式中实现文件裁剪的主要方法： ### 1. 布隆过滤器（Bloom Filter）裁剪 Hudi 利用布隆过滤器进行索引构建，特别是在使用 Bloom Index 时，能够有效裁剪掉不包含目标记录的数据文件[^3]。布隆过滤器是一种空间效率高且查询速度快的概率型数据结构，它能够快速判断某个记录键是否可能存在于某个数据文件中。如果布隆过滤器确认目标键不在某个文件中，则可以直接跳过该文件，从而减少不必要的 I/O 操作。 ### 2. 范围裁剪（Range Pruning） Hudi 的文件系统会根据记录键的排序特性进行范围裁剪。如果记录键是有序的（例如时间戳），Hudi 可以利用这些键的范围信息来构建区间树（Interval Tree），从而在查询时快速识别出可能包含目标记录的文件集合。这种基于键值范围的裁剪方法可以显著减少参与查询的数据文件数量。 ### 3. 文件分组与文件 ID 映射 Hudi 使用记录键（record key）和分区路径（partition path）生成唯一的 hoodie key，并通过索引机制将这些键映射到对应的文件 ID（file ID）[^4]。这种映射机制确保了记录键与文件位置之间的高效查找，从而在更新和删除操作中快速定位到相关的数据文件，避免扫描所有文件。 ### 4. 文件元数据管理 Hudi 的文件系统视图（File System View）维护了所有活跃文件的元数据信息，包括文件的创建时间、大小、键范围等[^1]。通过这些元数据信息，Hudi 可以在查询执行时快速判断哪些文件可能包含目标数据，哪些文件可以直接跳过。 ### 5. 与 Parquet 格式的列式裁剪结合 由于 Hudi 使用 Parquet 作为其底层存储格式，因此还可以利用 Parquet 自身的列式裁剪能力。Parquet 格式支持按列读取数据，查询引擎可以仅读取与查询相关的列数据，从而减少 I/O 操作并提升查询性能。 以下是一个简单的 Spark SQL 查询示例，展示如何从 Hudi 表中读取数据： ```sql -- 查询 Hudi 表中的部分数据 SELECT c_custkey, c_name, c_nationkey FROM customer_cow WHERE c_nationkey = 'CHINA'; ``` 在执行上述查询时，Hudi 会结合上述裁剪机制，快速定位并跳过不相关的 Parquet 文件，从而提升查询效率。 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值