hudi系列-索引机制

最新推荐文章于 2025-01-03 12:15:12 发布
最新推荐文章于 2025-01-03 12:15:12 发布
阅读量2.3k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hudi系列 文章标签： 大数据 hudi 索引
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/czmacd/article/details/128528377
本文介绍了Hudi的索引机制，包括索引类型如INMEMORY、HBASE、SIMPLE等，以及全局与非全局索引的区别。在Flink写入Hudi时，主要支持BUCKET和FLINK_STATE两种索引方式。文章还讨论了基于Flink的索引优化，对比了BUCKET和FLINK_STATE索引的优缺点。

1. 索引机制

hudi的索引机制是为了加速upsert/delete操作，它维护着（分区 + key）-> fileID之间的映射关系，所以可以减少对非必要base文件的合并

key是指索引key，可以是表的任意字段，在全局索引中常用主键key作为索引

在这里插入图片描述

1.1 索引类型

当前hudi支持以下类型的索引：

  • INMEMORY：基于内存hashmap，为全局索引
  • HBASE：基于外部存储hbase做索引，天然是全局索引
  • SIMPLE, GLOBAL_SIMPLE：简单索引，将更新的key与base文件提取的key值进行join，分为全局和非全局
  • BLOOM, GLOBAL_BLOOM：基于布隆过滤器，存在假阳性问题，分为全局和非全局
  • BUCKET：由字节跳动为了弥补bloom不足而贡献的分桶索引，非全局
  • FLINK_STATE：基于flink状态的全局索引

1.2 全局与非全局索引

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hudi的介绍与安装编译
dafsq的博客
05-06 1834
Hudi的介绍与安装编译
Hudi 源码 | 索引总结 - tag/tagLocation
主要分享大数据相关的知识，如Spark、Hudi
07-15 339
接上篇文章和之前的总结的源码文章，本文总结源码 tag/tagLocation ，对应功能：根据索引信息判断记录是否存在，如果不存在，代表是新增数据，如果记录存在则代表是更新数据，需要找到并设置 currentLocation。tag/tagLocation ：根据索引信息判断记录是否存在，如果不存在，代表是新增数据，如果记录存在则代表是更新数据，需要找到并设置 currentLocation。tagLocation 会利用上篇文章讲的写到 parquet 文件中的 最大值最小值和布隆索引。
Hudi 的索引机制和类型
修破立生
02-26 2633
本文介绍了 Hudi 的索引机制、索引类型（Bloom/Simple/HBase）、以及 Global索引和 Non-Global 索引
Hudi的Index类型
一见
05-10 2871
是 hoodiekey 到文件组（File Group）或者文件 ID（File ID）的映射，hoodiekey 由 recordkey 和 partitionpath 两部分组成。
Hudi Flink-索引机制-index
叫我刘三青
10-08 585
Hudi 系列文章在这个这里查看 https://github.com/leosanqing/big-data-study索引(Index)是 Hudi 最重要的特性之一,也是区别于之前传统数仓 Hive 的重要特点, 是实现 Time Travel, Update/Delete,事务 等重要特性的基础。
Hudi的7种索引
一名程序猿的博客
03-03 3045
Hudi的7种索引
hudi的索引机制以及使用场景
从大数据到人工智能的博客
10-04 3318
Apache Hudi 使用索引来定位更新/删除所属的文件组。 对于 Copy-On-Write 表，通过避免需要连接整个数据集来确定要重写哪些文件，这可以实现快速的 upsert/delete 操作。 对于 Merge-On-Read 表，这种设计允许 Hudi 限制任何给定基本文件需要合并的记录数量。 具体来说，给定的基本文件只需要针对属于该基本文件一部分的记录的更新进行合并。 相比之下，没有索引组件的设计（例如：Apache Hive ACID）可能最终必须根据所有传入的更新/删除记录合并所有基本文件
【hudi学习笔记】hudi基础教程-hudi表设计
foxofwind的博客
10-11 3638
一. hudi表设计 在较高的层次上，用于写Hudi表的组件使用了一种受支持的方式嵌入到Apache Spark作业中，它会在支持DFS的存储上生成代表Hudi表的一组文件。然后，在具有一定保证的情况下，诸如Apache Spark、Presto、Apache Hive之类的查询引擎可以查询该表。Hudi表的三个主要组件： 1）有序的时间轴元数据。类似于数据库事务日志。 2）分层布局的数据文件：实际写入表中的数据。 3）索引（多种实现方式）：映射包含指定记录的数据集。 Hudi提供了以下.
Hudi事务机制
jyjiao2016的博客
03-14 746
Hudi和Delta Lake等数据湖项目类似，最初主要是针对业务数据经常发生改动但是数据仓库更新操作效率较为低下的问题而设计的，是一个处于计算引擎（Spark/Flink/Presto等)和大数据文件系统(HDFS/S3)之间的一个存储引擎层。随着大数据业务的快速发展，当前数据湖技术栈与数据仓库（MPP）整合起来构成了湖仓一体的架构，该架构可以兼顾海量结构化/非结构化数据的存储、加工和各类数据分析请求（离线/实时/交互式等）。
hudi索引
不甚了然的博客
02-27 1169
索引实现的基类，核心方法是两个：tagLocation和updateLocation后续有不同的子类实现具体的索引。
Hudi核心概念-索引
罗仲虎的博客
01-03 310
全局索引提供了更强的保证，但更新/删除的成本可能会随着表的大小增长，复杂度为 O(表的大小)O(表的大小)，因为记录可能属于存储中的任意分区。由于Hudi的设计在处理可变的变更流方面经过了大量优化，且具有不同的写入模式，Hudi将索引视为其设计的一个核心部分，并自项目初始就独特地支持索引功能，旨在加速数据湖仓的写入操作，同时仍保持列式查询的性能。尽管如此，非全局索引能够提供更高的性能，因为索引查找操作的复杂度为 O(更新/删除的记录数)O(更新/删除的记录数)，并且能够很好地适应较大的写入量。
【Hudi】索引
JH_Zhai的博客
02-22 567
假设在数据分布最糟糕的情况下，需要被更新的 100 条数据分布在 100 个文件中。在有了索引之后，更新的数据可以快速被定位到对应的 File Group，以下面的官方的示意图为例，在传统 Hive 数仓的场景下，如果需要对一个分区数据做更新，整个更新过程会涉及三个很重的操作。假设一个 Hive 分区存在 100,000 条记录，分布在 400 个文件中，我们需要更新其中的 100 条数据。索引，其依赖布隆过滤器来判断记录存在与否，当记录存在时，会读取实际文件进行二次判断，以便修正布隆过滤器带来的误差。
Hudi的核心概念 —— 索引（Index）
weixin_45417821的博客
01-09 2538
事实上，有范围裁剪功能的布隆索引是最佳的解决方案。从 index 的维护成本和写入性能的角度考虑，维护一个 global index 的难度更大，对写入性能的影响也更大，所以需要 non-global index。上图为例，白色是基本文件，黄色是更新数据，有了索引机制，可以做到：避免读取不需要的文件、避免更新不必要的文件、无需将更新数据与历史数据做分布式关联，只需要在 File Group 内做合并。全局索引：全局索引在全表的所有分区范围下强制要求键的唯一性，也就是确保对给定的键有且只有一个对应的记录。
Hudi 索引的选择策略
修破立生
02-27 665
本文通过介绍三种不同的使用场景的特点，并在各自场景下选择的 Hudi 索引的类型。包括的场景有：事实表更新，事件表去重，维度表的更新。索引类型有BLOOM,SIMPLE,HBase。
流式数据湖平台Hudi核心概念三：索引
shangjg3的博客
10-11 421
当设置为false时，原始记录将只在旧分区中更新，如果传入记录的分区值与存储中的内容不匹配，则忽略新的传入分区。当设置为false时，原始记录将只在旧分区中更新，如果传入记录的分区值与存储中的内容不匹配，则忽略新的传入分区。当设置为false时，原始记录将只在旧分区中更新，如果传入记录的分区值与存储中的内容不匹配，则忽略新的传入分区。当已经存在的记录与存储中的记录相比被打乱到新分区时，设置此配置时，将删除旧分区中的旧记录，并将其作为新记录插入新分区。，但也分布在从旧到新的数据集中的许多分区和数据文件中。
cmd在hosts文件最后一行插入记录_Apache Hudi重磅RFC解读之记录级别全局索引
weixin_39944595的博客
12-11 262
1. 摘要Hudi表允许多种类型操作，包括非常常用的upsert，当然为支持upsert，Hudi依赖索引机制来定位记录在哪些文件中。当前Hudi支持分区和非分区的数据集。分区数据集是将一组文件(数据)放在称为分区的桶中的数据集。一个Hudi数据集可能由N个分区和M个文件组成，这种组织结构也非常方便hive/presto/spark等引擎根据分区字段过滤以返回有限的数据量。而分区值绝大多...
Hudi原理学习
weixin_56039103的博客
04-11 1959
第四步：如果是 update 消息，写对应的 file group + file slice，直接 append 最新的 log file（如果碰巧是当前最小的小文件，会 merge base file，生成新的 file slice）log file 大小达到阈值会 roll over 一个新的。第三步：如果有小的 base file 文件，merge base file，生成新的 FileSlice + base file，否则直接写新的 FileSlice + base file；
Hudi-基本概念(时间轴、文件布局、索引、表类型、查询类型、数据写、数据读、Compaction)
迷雾总会解
02-13 2693
写入过程充分优化了文件存储的小文件问题，Copy On Write 写会一直将一个 bucket （FileGroup）的 base 文件写到设定的阈值大小才会划分新的 bucket；Merge On Read 写在同一个 bucket 中，log file 也是一直 append 直到大小超过设定的阈值 roll over。
数据湖框架选型很纠结？一文了解Apache Hudi核心优势
xleesf
01-01 590
英文原文：https://hudi.apache.org/blog/hudi-indexing-mechanisms/ Apache Hudi使用索引来定位更删操作所在的文件组。对于Copy-On-Write表，索引能加快更删的操作，因为避免了通过连接整个数据集来决定哪些文件需要重写。对于Merge-On-Read表，这个设计，对于任意给定的基文件，能限定要与其合并的记录数量。具体地，一个给定的基文件只需要和其所包含的记录的更新合并。相比之下，没有索引的设计（比如Apache Hive ACID），可能会.
hudi-spark-buind
最新发布
03-31
- **方式1**：直接下载预编译的Hudi Bundle JAR（如`hudi-spark3.1-bundle_2.12-0.13.0-SNAPSHOT.jar`[^5]） - **方式2**：通过Maven引入依赖： ```xml <groupId>org.apache.hudi <artifactId>hudi-spark3.1-...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值