流式数据湖平台Hudi核心概念四：文件布局

已于 2024-04-15 14:44:21 修改
阅读量292 收藏
点赞数
分类专栏： 数据湖Hudi 文章标签： 大数据 数据仓库
于 2023-11-09 11:34:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/shangjg03/article/details/134307932
版权
本文详细介绍了Hudi表的文件存储结构，包括元数据和数据两大部分。元数据存储在.hoodie目录下，记录表的版本管理和归档信息。数据以分区形式存放，每个分区包含Base File和Log File。Hudi采用多版本并发控制，通过compaction和clean操作管理文件片，并利用BloomFilter和LogBlock优化数据读取和过滤。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1. Hudi表文件存储结构

Hudi将一个表映射为如下文件结构

Hudi存储分为两个部分：元数据和数据

2. 元数据存储

了解本专栏 订阅专栏 解锁全文 超级会员免费看
hudi系列-文件布局（file layout）
1032851561的博客
02-16 1819
hudi的文件布局是能实现增量查询、数据更新等特性的基础，每个hudi表有一个固定的目录，存放元数据(.hoodie)以及数据文件，其中数据文件可以以分区方式进行划分，每个分区有多个数据文件(基础文件和日志文件)，这些数据文件在逻辑上被组织为文件组、文件分片上面的示例中，2023-02-15这个分区下有一个文件组，文件中组中有3个文件切片，其中一个只有log文件，一个只有base文件。
流式数据湖平台Hudi核心概念一：时间线
shangjg3的博客
10-10 266
顾名思义，为了在有效数据文件上提供元数据，并确保随着时间线的增长，对时间线的读取不会产生不必要的延迟，活动时间线需要以可以提供的元数据（时间线瞬间）为界。它提供了一套API和工具，可以帮助用户在数据湖中进行写入、更新、删除和查询等操作，并提供了高效的数据索引和存储机制，以加速数据的访问和处理。还提供了用于数据管理的元数据存储和查询功能，可以跟踪数据的版本、变更历史和元数据信息。一个关键的观察结果是，提交时间表示数据的到达时间是上午10:20，而实际的数据组织反映了数据的实际时间或事件时间。
Hudi的核心概念 —— 文件布局（File Layout）
weixin_45417821的博客
01-09 1622
（1）元数据：.hoodie 目录对应着表的元数据信息，包括表的版本管理（Timeline）、归档目录（存放过时的 instant 也就是版本），一个 instant 记录了一次提交（commit）的行为、时间戳和状态，Hudi 以时间轴的形式维护了在数据集上执行的所有操作的元数据；（2）多个日志文件(.log.*)，这些日志文件包含自生成基本文件以来对基本文件的插入/更新（COW 没有）（2）clean 操作：清除不使用的/旧的文件片以回收文件系统上的空间。Hudi 将一个表映射为如下文件结构。
大数据之Hudi数据湖_基本概念_文件布局_存储方式_.parquet文件和.log文件_以及文件查找过滤方式_布隆过滤---大数据之Hudi数据湖工作笔记0006
添柴程序猿的专栏
10-18 1423
先来说一下,hudi的文件存储格式,首先跟hive一样,hudi,也是按照分区进行存储,这里对于hive来说一个分区就是一个目录,那么在hudi中也是这样,一个分区一个目录,这个目录中放的只有两种文件,一种是列式存储的文件,parquet 文件 还有一种是行式存储的log文件,log文件用的是阿弗罗格式的,avro格式的文件.然后在hudi中除了有分区以为,还有一个元数据,元数据是.hoodie格式的,元数据里面就包含了一个的instant 时刻对吧用来做timeline用的.
Hudi-基本概念(时间轴、文件布局、索引、表类型、查询类型、数据写、数据读、Compaction)
迷雾总会解
02-13 2424
写入过程充分优化了文件存储的小文件问题，Copy On Write 写会一直将一个 bucket （FileGroup）的 base 文件写到设定的阈值大小才会划分新的 bucket；Merge On Read 写在同一个 bucket 中，log file 也是一直 append 直到大小超过设定的阈值 roll over。
Hudi核心概念-文件存储布局
罗仲虎的博客
01-03 125
以下内容描述了 Hudi 表在存储中一般的文件组织结构。.hoodie。
流式数据湖平台Hudi核心概念二：表和查询类型
shangjg3的博客
10-10 170
在写入数据时，对现有文件组的更新会为该文件组生成一个带有提交即时时间戳的新切片，而插入数据会分配一个新文件组并为该文件群写入其第一个切片。针对这样一个SQL查询（例如：select count（*）计数该分区中的总记录），首先检查最新提交的时间线，并过滤每个文件组中除最新文件切片外的所有文件切片。一个旧的查询看不到当前执行中提交的颜色编码为粉红色的文件，而是在提交后开始的新查询获取新数据。文件上，以控制查询性能（较大的增量日志文件将导致与查询端的合并数据的合并时间更长）。文件仍然使用提交进行版本控制。
【Hudi】数据湖Hudi核心概念与架构设计总结
热门推荐
菜鸟叔叔的博客
04-06 1万+
Hudi是现在非常热门的数据湖开源方案，非常适合于搭建一个数据湖平台。 有些人认为数据湖肯定与大数据技术体系完全不一样，是两个东西，甚至认为他俩没关系。但是，你知道Hudi的全称叫啥么？就是“Hadoop Updates and Incrementals” 简单来说，就是基于Hadoop生态，支持HDFS的数据删除和增量更新的技术框架。 所以，Apache Hudi其实本就是从Hadoop生态里来的，依赖 HDFS 做底层的存储，所以可以支撑非常大规模的数据存储。...
基于数据湖格式构建流式增量数仓—CDC
数据库技术
02-22 342
今天以 Apache Hudi 为主，分享一下数据湖格式上实现 CDC 的一些思考和注意点，以及一些流式 streaming 通用的优化点，和 Hudi CDC 的后续规划。
CDP集成Hudi实战-文件存储布局实况讲解
最新发布
罗仲虎的博客
01-04 893
这是 Hudi 表的根目录，所有表数据、元数据和日志都存储在该目录中。.hoodie是 Hudi 的元数据目录，存储管理 Hudi 表的各种元数据和临时文件。是 Hudi 表的辅助目录，主要用来支持引导（bootstrap）功能，帮助将非 Hudi 数据集转化为 Hudi 表，同时记录文件和分区的信息。它不会存储实际数据，而是为 Hudi 提供管理这些数据所需的元数据。所以，简单来说：.aux用于存储 Hudi 表的模式文件。
【数据湖Hudi的概念】Timeline和File Layouts
Bulut0907
05-26 571
1. Timeline Hudi对一个table的各种action都会记录操作的instant time和status。对一系列的instant time按发生的先后顺序排列，形成一个timeline action有以下几种： commits：对包含一条或多条数据的一次原子性write，进行commit cleans：后台进程对不需要的老版本files进行删除 delta_commit：对于MergeOnRead类型的table，对包含一条或多条数据的一次原子性write，进行delta commit，数
Hudi学习四：Hudi架构
NC_NE的博客
05-28 3741
Hudi架构
「Apache Hudi系列」核心概念与架构设计总结
微信搜：import_bigdata，大数据领域硬核原创作者
02-08 1624
点击上方蓝色字体，选择“设为星标”回复”面试“获取更多惊喜简介Apache Hudi依赖 HDFS 做底层的存储，所以可以支撑非常大规模的数据存储。同时基于下面两个原语，Hudi可以解决流...
【Hudi】Hudi 核心知识点详解（一）
书山有路，学海无涯。记录成长，追逐梦想
12-10 4867
在 Flink 实时流中，经常会通过 Flink CDC 插件读取 Mysql 数据，然后写入 Hudi 中。所以在执行上述操作时，需要了解 Hudi 的基本概念以及操作原理，这样在近实时往 Hudi 中写数据时，遇到报错问题，才能及时处理。
Apache Hudi基础知识整理
ChengYanan的博客
09-14 898
文章目录特性TimelineFile LayoutIndexTable Types& QueriesCopy on Write TableMerge on Read Table 本文整理自其他技术博文。 特性 （1）快速upsert,可插入索引 （2）以原子方式操作数据并具有回滚功能 （3）写入器之和查询之间的快照隔离 （4）savepoint用户数据恢复的保存点 （5）管理文件大小，使用统计数据布局 （6）异步压缩行列数据 （7）具有时间线来追踪元数据血统 （8）通过聚类优化数据集 Timelin
Hudi（一）基本介绍
Yuan_CSDF的博客
12-20 4066
Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道。Apache Hudi可以轻松地在任何云存储平台上使用。
大数据hudi之基本概念：文件布局
weixin_43597208的博客
08-14 260
8.Hudi的log(avro文件)是自己编码的，通过积攒数据buffer以logBlock为单位写出，每个LogBlock包含magic number、size、content、footer等信息，用于数据读、校验和过滤；(1)元数据：.hoodie目录对应着表的元数据信息，包括表的版本管理（TimeLine）,归档目录（存放过时的instant也就是版本），一个instant记录了一次提交（commit）的行为、时间戳和状态，Hudi以时间轴的形式维护了在数据集上执行的所有操作的元数据；
探索 Apache Hudi 核心概念 (1) - File Layouts ( 文件布局 )
Laurence的技术博客
03-27 1290
本文首发于Apache Hudi公众号。以往介绍Apcache Hudi的文章对核心概念的解读大多引用官方文档中的概念图，但是，抽象概念与实际运行状况还是有不少差异的，很多学习和使用Hudi的开发者都曾尝试过：将文档中的概念和Hudi的实际运行状况结合起来推导每个动作背后的逻辑是什么。本文利用Notebook良好的交互能力，设计一系列有针对性的操作，让这些操作去触发Hudi的某些机制，然后观察Hudi数据集的状态（包括元数据和存储文件），再结合对Hudi相关概念的介绍，解读这些行为。
Hudi 数据管理和存储概述
u011250186的博客
10-26 1140
Hudi 数据管理和存储概述
Hudi原理与实践：数据湖存储格式详解
资源摘要信息:"数据湖存储格式Hudi原理与实践.zip" 知识点: 1. 数据湖存储格式Hudi的定义：Hudi（Hadoop Upserts Deletes and Incremental processing）是一个开源存储格式，用于在Hadoop兼容的存储系统上存储大...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

shangjg3

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值