hudi系列-文件布局（file layout）

最新推荐文章于 2025-01-04 13:21:42 发布
最新推荐文章于 2025-01-04 13:21:42 发布
阅读量1.9k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： hudi系列 文章标签： hudi 文件布局
本文为博主原创文章，未经博主允许不得转载。
本文链接：https://blog.youkuaiyun.com/czmacd/article/details/129049025
Hudi的文件布局包括概念和文件命名规则，它是实现增量查询和数据更新的基础。每个Hudi表包含元数据和数据文件，数据文件按分区组织，分为基础文件和日志文件。基础文件使用列式存储，如Parquet格式，日志文件为Avro格式，记录数据变更。文件组和文件切片的概念确保了数据组织的逻辑性。文件命名有固定格式，通过fileId、writeToken等标识。Hudi利用多版本控制机制进行文件合并和空间回收。

概念

hudi的文件布局是能实现增量查询、数据更新等特性的基础，每个hudi表有一个固定的目录，存放元数据(.hoodie)以及数据文件，其中数据文件可以以分区方式进行划分，每个分区有多个数据文件(基础文件和日志文件)，这些数据文件在逻辑上被组织为文件组、文件分片

  • 基础文件(base file)：列式存储的数据文件，可以是orc,hfile,parquet格式，默认是parquet
  • 日志文件(log file)：行存储的数据文件，为avro格式，保存的是数据的变更日志(redo log)，只是mor表才有，会定期与base file进行合并
  • 文件组(file group)：同一分区下，具有相同的fileId的所有basefiles+logfiles集合，一个分区可以有多个文件组
  • 文件切片(file slice)：同一分区下，具有相同fileId以及相同instant的basefile + logfiles集合。即一个文件组由N个文件切片组成，每个一个文件切片中basefile最多一个，logfiles大于等于0个

在这里插入图片描述

上面的示例中，2023-02-15这个分区下有一个文件组，文件中组中有3个文件切片，其中一个只有log文件，一个只有base文件。

文件命名

base文件和log文件都有固定的命名格

了解本专栏 订阅专栏 解锁全文 超级会员免费看
流式数据湖平台Hudi核心概念四：文件布局
shangjg3的博客
11-09 423
表被划分为多个分区，这些分区是包含该分区的数据文件的文件夹，非常类似于。以时间轴的形式维护了在数据集上执行的所有操作的元数据；，这些日志文件包含自生成基本文件以来对基本文件的插入。目录对应着表的元数据信息，包括表的版本管理（）在每个分区中，文件被组织成文件组，由文件。操作：合并日志和基本文件以产生新的文件片。文件）是自己编码的，通过积攒数据。旧的文件片以回收文件系统上的空间。）每个文件组包含几个文件片（将一个表映射为如下文件结构。）、归档目录（存放过时的。）的行为、时间戳和状态，的实现中实现高效率的。
hudi系列-小文件优化
1032851561的博客
06-05 2185
hudi使用mvcc来实现数据的读写一致性和并发控制，基于timeline实现对事务和表服务的管理，会产生大量比较小的数据文件和元数据文件。大量小文件会对存储和查询性能产生不利影响，包括增加文件系统的开销、文件管理的复杂性以及查询性能的下降。对于namenode而言，当整个集群中文件数到了几千万，就已经会变得很不稳定了。
Hudi的核心概念 —— 文件布局（File Layout）
weixin_45417821的博客
01-09 1774
（1）元数据：.hoodie 目录对应着表的元数据信息，包括表的版本管理（Timeline）、归档目录（存放过时的 instant 也就是版本），一个 instant 记录了一次提交（commit）的行为、时间戳和状态，Hudi 以时间轴的形式维护了在数据集上执行的所有操作的元数据；（2）多个日志文件(.log.*)，这些日志文件包含自生成基本文件以来对基本文件的插入/更新（COW 没有）（2）clean 操作：清除不使用的/旧的文件片以回收文件系统上的空间。Hudi 将一个表映射为如下文件结构。
【数据湖Hudi的概念】Timeline和File Layouts
Bulut0907
05-26 660
1. Timeline Hudi对一个table的各种action都会记录操作的instant time和status。对一系列的instant time按发生的先后顺序排列，形成一个timeline action有以下几种： commits：对包含一条或多条数据的一次原子性write，进行commit cleans：后台进程对不需要的老版本files进行删除 delta_commit：对于MergeOnRead类型的table，对包含一条或多条数据的一次原子性write，进行delta commit，数
大数据之Hudi数据湖_基本概念_文件布局_存储方式_.parquet文件和.log文件_以及文件查找过滤方式_布隆过滤---大数据之Hudi数据湖工作笔记0006
添柴程序猿的专栏
10-18 1601
先来说一下,hudi的文件存储格式,首先跟hive一样,hudi,也是按照分区进行存储,这里对于hive来说一个分区就是一个目录,那么在hudi中也是这样,一个分区一个目录,这个目录中放的只有两种文件,一种是列式存储的文件,parquet 文件 还有一种是行式存储的log文件,log文件用的是阿弗罗格式的,avro格式的文件.然后在hudi中除了有分区以为,还有一个元数据,元数据是.hoodie格式的,元数据里面就包含了一个的instant 时刻对吧用来做timeline用的.
Apache Hudi File Layouts
lucklilili
12-18 180
Hudi将数据表组织到分布式文件系统的基本路径下的目录结构中。
Hudi核心概念-文件存储布局
罗仲虎的博客
01-03 345
以下内容描述了 Hudi 表在存储中一般的文件组织结构。.hoodie。
CDP集成Hudi实战-文件存储布局实况讲解
罗仲虎的博客
01-04 1047
这是 Hudi 表的根目录，所有表数据、元数据和日志都存储在该目录中。.hoodie是 Hudi 的元数据目录，存储管理 Hudi 表的各种元数据和临时文件。是 Hudi 表的辅助目录，主要用来支持引导（bootstrap）功能，帮助将非 Hudi 数据集转化为 Hudi 表，同时记录文件和分区的信息。它不会存储实际数据，而是为 Hudi 提供管理这些数据所需的元数据。所以，简单来说：.aux用于存储 Hudi 表的模式文件。
Hudi 数据管理和存储概述
番茄炒蛋三分糖
06-09 2052
**Hudi 是如何管理数据？ **使用表Table形式组织数据，并且每张表中数据类 似Hive分区表，按照分区字段划分数据到不同目录中， 每条数据有主键PrimaryKey，标识数据唯一性。Hudi 数据管理Hudi表的数据文件，可以使用操作系统的文件系统存储，也可以使用HDFS这种分布式的文件系统存储。为了分 析性能和数据的可靠性，一般使用HDFS进行存储。以HDFS存储来看，一个Hudi表的存储文件分为两类。（1）.hoodie 文件：由于CRUD的零散性，每一次的操作都会生成一个文件，这些小文件越来
Apache Hudi数据湖的File Sizing
Bulut0907
06-15 739
目录1. 目标2. Auto-Size During ingestion2.1 For Copy-On-Write2.2 For Merge-On-Read3. Auto-Size With Clustering 注意：HDFS上的文件永远是不变的。将数据写入小文件，是通过将数据与小文件合并，生成一个new version file 1. 目标 Hudi通过控制file的大小，来避免创建过多的小文件。有两种方法： Auto-Size During ingestion Auto-Size With Cl
Apache Hudi 是如何维护小文件的
过往记忆大数据
08-04 1065
Apache Hudi 是一种数据湖平台技术，它提供了构建和管理数据湖所需的几个功能。hudi 提供的一个关键特性是自我管理文件大小，这样用户就不需要担心手动维护表。拥有大量的小文件将使计...
Apache hudi 源码分析 - 写时处理优化小文件问题
507_fzs的博客
03-15 6523
flink 如何写时处理小文件问题
Apache Hudi基础知识整理
ChengYanan的博客
09-14 1048
文章目录特性TimelineFile LayoutIndexTable Types& QueriesCopy on Write TableMerge on Read Table 本文整理自其他技术博文。 特性 （1）快速upsert,可插入索引 （2）以原子方式操作数据并具有回滚功能 （3）写入器之和查询之间的快照隔离 （4）savepoint用户数据恢复的保存点 （5）管理文件大小，使用统计数据布局 （6）异步压缩行列数据 （7）具有时间线来追踪元数据血统 （8）通过聚类优化数据集 Timelin
Hudi聚簇(Clustering)实现分析
ksmou的博客
06-28 1122
Hudi 提供了一种数据重组方式 clustering，主要用于对 CopyOnWrite 存储类型的表文件进行合并。
spark处理数据落地Hudi同步HIVE(01)-分区详解
HANG.NIAN
10-20 2216
有的时候我们期望数据是分区的,关于hive的分区详细介绍请连接:hive详细笔记(四)-Hive内部表,外部表,分区表,分桶表详解(附带讲解视频)_JAVA_JAVA-优快云博客 1 落地Hudi同步HIVE表-没有分区 package com.doitedu.demo import org.apache.hudi.DataSourceWriteOptions import org.apache.spark.SparkConf import org.apache.spark.sql.types..
【hudi学习笔记】hudi基础教程-hudi表设计
foxofwind的博客
10-11 3644
一. hudi表设计 在较高的层次上，用于写Hudi表的组件使用了一种受支持的方式嵌入到Apache Spark作业中，它会在支持DFS的存储上生成代表Hudi表的一组文件。然后，在具有一定保证的情况下，诸如Apache Spark、Presto、Apache Hive之类的查询引擎可以查询该表。Hudi表的三个主要组件： 1）有序的时间轴元数据。类似于数据库事务日志。 2）分层布局的数据文件：实际写入表中的数据。 3）索引（多种实现方式）：映射包含指定记录的数据集。 Hudi提供了以下.
详解Apache Hudi如何配置各种类型分区
xleesf
08-18 2425
1. 引入 Apache Hudi支持多种分区方式数据集，如多级分区、单分区、时间日期分区、无分区数据集等，用户可根据实际需求选择合适的分区方式，下面来详细了解Hudi如何配置何种类型分区。 2. 分区处理 为说明Hudi对不同分区类型的处理，假定写入Hudi的Schema如下 { "type" : "record", "name" : "HudiSchemaDemo", "namespace" : "hoodie.HudiSchemaDemo", "fields" : [ { "n
Spark SQL操作HUDI表实践
从大数据到人工智能的博客
12-16 6513
从 0.9.0 开始 hudi 已经支持 hudi 内置的 FileIndex：HoodieFileIndex 来查询 hudi 表，支持分区剪枝和 metatable 查询。这将有助于提高查询性能。它还支持非全局查询路径，这意味着用户可以通过基本路径查询表，而无需在查询路径中指定“*”。有关支持的所有表类型和查询类型的更多信息，请参阅表类型和查询。如果使用location语句指定一个位置，或者使用create external table显式地创建表，那么它就是一个外部表，否则它被认为是一个内部表。
Hudi小文件问题处理和生产调优个人笔记
微信搜：import_bigdata，大数据领域硬核原创作者
03-04 4197
点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜八股文交给我，你们专心刷题和面试Hi，我是王知无，一个大数据领域的原创作者。放心关注我，获取更多行业的一手消息。这个文章是我在浏...
hudi文件布局
最新发布
05-08
<think>好的，用户想了解Apache Hudi的文件布局及相关配置方法。我需要先回忆一下之前学过的Hudi知识，并结合提供的引用内容来组织回答。 首先，Hudi的文件布局涉及到分区结构、文件组和文件片这些概念。引用3中提到Hudi的表组织类似于Hive的分区结构，每个分区下有文件组，每个文件组由文件ID唯一标识，包含基本文件和日志文件。这部分需要详细解释。 接下来，配置方面，用户可能需要知道如何设置基础路径、分区方式、文件大小等。引用2里提到了自动管理文件大小，这可能涉及到hoodie.parquet.max.file.size这样的配置参数，需要具体说明。 另外，用户可能关心小文件处理的机制，引用1和2都提到了Hudi通过自定义分区和摄取过程来优化文件大小，避免小文件问题。这里需要结合写入时的文件合并策略和压缩机制来解释，比如Clustering的作用。 还有MVCC设计，引用3里提到压缩和清理操作，这部分需要说明文件版本管理和空间回收的流程。 需要确保回答结构清晰，分点说明布局设计和配置方法，同时结合引用内容作为支持。可能还需要生成相关问题，比如关于分区策略、小文件处理、压缩配置等，帮助用户深入理解。 最后检查LaTeX格式是否正确，确保行内公式用$...$，独立公式用$$...$$，但看起来这个问题可能不需要数学公式，不过如果有涉及的话要按规则处理。回答使用中文，引用标识放在相关句子的末尾。</think>### Apache Hudi文件布局与配置详解 #### 一、Hudi文件布局核心设计 1. **分层目录结构** Hudi表在分布式文件系统（如HDFS）中以分层目录结构组织，基础路径（`basePath`）为根目录。若表启用分区，则分区路径形如`basePath/partitionKey=value/`，与Hive分区格式兼容[^3]。 2. **文件组与文件片** - **文件组（File Group）**：由唯一`fileId`标识，包含多个时间版本的文件片（File Slice） - **文件片（File Slice）**：由基础文件（`.parquet`）和增量日志文件（`.log`）组成，支持更新操作时仅追加日志文件 - 存储结构示例： ``` /basePath/date=2023-10-01/ ├── fileId1_20231001010000.parquet # 基础文件 └── .fileId1_20231001010000.log # 增量日志 ``` 3. **MVCC多版本控制** 通过时间戳（`commit time`）管理版本，压缩（Compaction）将日志合并到新基础文件，清理（Clean）删除过期文件片以释放空间[^3]。 #### 二、关键配置参数 | 配置项 | 说明 | 默认值 | |-----------------------------------|----------------------------------------------------------------------|----------| | `hoodie.base.path` | 表存储的基础路径 | 必填 | | `hoodie.datasource.write.partitionpath.field` | 指定分区字段 | 无 | | `hoodie.parquet.max.file.size` | 基础文件最大大小（控制文件合并） | 120MB | | `hoodie.logfile.max.size` | 日志文件最大大小 | 1GB | | `hoodie.compact.inline` | 是否启用在线压缩 | false | #### 三、小文件处理机制 1. **写入时优化** - **动态分区分配**：通过`hoodie.copyonwrite.insert.split.size`控制每个分区的记录数，避免小文件产生[^1] - **Clustering操作**：将小文件合并为更大文件（需配置`hoodie.clustering.plan.strategy.target.file.max.bytes`） 2. **写入后维护** - **自动压缩**：合并日志文件到基础文件（需启用`hoodie.compact.inline=true`） - **定时清理**：通过`hoodie.cleaner.commits.retained`保留最近N个提交版本[^3] #### 四、配置示例（Spark写入） ```scala val hudiOptions = Map( "hoodie.table.name" -> "hudi_table", "hoodie.datasource.write.recordkey.field" -> "id", "hoodie.datasource.write.partitionpath.field" -> "date", "hoodie.parquet.max.file.size" -> "134217728", // 128MB "hoodie.cleaner.commits.retained" -> "3", "hoodie.compact.inline" -> "true" ) df.write.format("org.apache.hudi") .options(hudiOptions) .mode("append") .save("/hudi/basePath") ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值