Hudi Clustering

原创 已于 2023-12-20 23:07:03 修改 · 1.6k 阅读 · 16 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

于 2023-12-19 19:14:00 首次发布
HudiClustering通过并发写入小文件提升性能，通过异步或同步合并优化查询。文章详细介绍了配置选项、执行机制、同步异步模式和计划策略，包括SparkSizeBased策略和排序列的重要性。

核心概念

Hudi Clustering对于在数据写入和读取提供一套相对完善的解决方案。它的核心思想就是： 在数据写入时，运行并发写入多个小文件，从而提升写入的性能；同时通过一个异步（也可以配置同步，但不推荐）进程或者周期性调度来执行小文件合并成大文件在这个过程中hudi还考虑到对数据按照特定的列进行重排序，这样在解决小文件问题的同时还优化了查询性能，可谓是“两全其美”。对于Clustering的手法其实是一种比较通用的优化数据重新布局的手段。其中在Hive/Spark SQL中都有类似的操作cluster by，只是在hudi中更加追求完美，多了一项合并小文件工作。关于cluster的几个配置参数：

配置项 默认值 说明
hoodie.clustering.inline false
hoodie.clustering.schedule.inline false
hoodie.clustering.async.enabled false
hoodie.clustering.inline.max.commits 4
hoodie.clustering.async.max.commits 4
hoodie.clustering.plan.strategy.small.file.limit 314572800 ( 300MB ) 只有小于该值的文件才会被视为小文件，从而参与到 Clustering 中。
hoodie.clustering.plan.strategy.target.file.max.bytes 1073741824 ( 1GB ) 限制 Clustering 生成的文件大小，默认是 1GB。合并后的最大文件不会超过该值。
hoodie.clustering.plan.strategy.sort.columns -- 针对哪个列重新进行排序。对于该字段过滤条件的查询有很大性能提高。

计划与执行

Clustering 的执行机制和compaction的机制类似，都是分为Schedule和execute两个阶段。计划的阶段主要是规划哪些文件参与Clusetring,然后生成一

最低0.47元/天 解锁文章
Hudi聚簇(Clustering)实现分析
ksmou的博客
06-28 1127
Hudi 提供了一种数据重组方式 clustering，主要用于对 CopyOnWrite 存储类型的表文件进行合并。
hudi系列-小文件优化
1032851561的博客
06-05 2186
hudi使用mvcc来实现数据的读写一致性和并发控制，基于timeline实现对事务和表服务的管理，会产生大量比较小的数据文件和元数据文件。大量小文件会对存储和查询性能产生不利影响，包括增加文件系统的开销、文件管理的复杂性以及查询性能的下降。对于namenode而言，当整个集群中文件数到了几千万，就已经会变得很不稳定了。
探索 Apache Hudi 核心概念 (4) - Clustering
Laurence的技术博客
04-17 2088
本文首发于Apache Hudi公众号。Clustering是Hudi在0.7.0版本引入的一项特性，用于优化文件布局，提升读写性能，现在它已经成为Hudi的一项重要性能优化手段。本文我们会通过Notebook介绍并演示Clustering的运行机制，帮助您理解其工作原理和相关配置。
Hudi异步Clustering
从大数据到人工智能的博客
09-19 943
在之前的一篇博客文章中，我们引入了一种新的名为clustering的表服务，它可以重组数据，从而在不影响写入速度的情况下提高查询性能。 我们学习了如何设置inline clustering。 在这篇文章中，我们将讨论自那以后发生的变化，并看看如何使用HoodieClusteringJob和DeltaStreamer实用工具来设置异步clustering。 总览 在较高的层次上，集群基于可配置的策略创建计划，根据特定的标准对符合条件的文件进行分组，然后执行计划。 Hudi支持多写入器，它在多个表服务之间提供快
Hudi Clustering特性
从大数据到人工智能的博客
09-18 1320
概览 Apache Hudi为大数据带来了流处理，在提供新鲜数据的同时，比传统批处理效率高一个数量级。在数据湖/数据仓库中，关键的权衡之一是输入速度和查询性能之间的权衡。数据摄取通常倾向于小文件，以提高并行性，并使数据能够尽快用于查询。但是，如果有很多小文件，查询性能就会下降。此外，在摄入期间，数据通常根据到达时间在同一位置。但是，当频繁查询的数据放在一起时，查询引擎的性能会更好。在大多数体系结构中，每个系统都倾向于独立地添加优化，以提高由于未优化的数据布局而导致的性能限制。本博客介绍了一种新的表服务，称为
Apache Hudi 使用文件聚类功能 (Clustering) 解决小文件过多的问题
知行合一
08-26 2075
Apache Hudi 利用 Clustering 功能合并小文件增加查询效率
一文彻底掌握Apache Hudi异步Clustering部署
被基金支配的打工人
09-27 467
1. 摘要 在之前的一篇博客中，我们介绍了Clustering(聚簇)的表服务来重新组织数据来提供更好的查询性能，而不用降低摄取速度，并且我们已经知道如何部署同步Clustering，本篇博客中，我们将讨论近期社区做的一些改进以及如何通过HoodieClusteringJob和DeltaStreamer工具来部署异步Clustering。 2. 介绍 通常讲，Clustering根据可配置的策略创建一个计划，根据特定规则对符合条件的文件进行分组，然后执行该计划。Hudi支持并发写入，并在多个表服务之间
大数据hudi之集成flink:离线 Clustering
weixin_43597208的博客
09-06 351
异步的 clustering 相对于 online 的 async clustering 资源隔离，从而更加稳定
数据湖---hudi核心概念
u013257767的博客
12-30 1442
正如您所看到的，一个旧的查询不会看到当前飞行中提交的文件以粉色编码，而是在提交后开始的一个新的查询会拾取新的数据。因此，查询不受任何写入失败/部分写入的影响，仅在提交的数据上运行。如果您当前的部署模型是单编写器，以及在同一进程中运行的异步表服务（如清理、集群、压缩），如Deltastremer连续模式写入MOR表、Spark流（默认情况下压缩是异步的），以及您自己的作业设置在同一编写器中启用异步表服务，则必须具有乐观的并发控制，在启用元数据表之前配置的锁提供程序和延迟失败写入清理策略如下。
Clickhouse在京东的实践之路
微信搜：import_bigdata，大数据领域硬核原创作者
04-26 430
点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜八股文教给我，你们专心刷题和面试Hi，我是王知无，一个大数据领域的原创作者。放心关注我，获取更多行业的一手消息。如果这个文章对你有帮助，不要忘记「在看」「点赞」「收藏」三连啊喂！2022年全网首发|大数据专家级技能模型与学习指南(胜天半子篇)互联网最坏的时代可能真的来了我在B站读大学，大数据专业我们在学习F...
【Hudi】Apache Hudi如何智能处理小文件问题
m0_54252387的博客
08-01 1026
本文介绍了ApacheHudi如何智能地管理小文件问题，即在写入时找出小文件并分配指定大小的记录数来规避小文件问题，基于该设计，用户再也不用担心ApacheHudi数据湖中的小文件问题了。httpshttpshttps。...
Hudi小文件问题处理和生产调优个人笔记
微信搜：import_bigdata，大数据领域硬核原创作者
03-04 4197
点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜八股文交给我，你们专心刷题和面试Hi，我是王知无，一个大数据领域的原创作者。放心关注我，获取更多行业的一手消息。这个文章是我在浏...
Hudi COW表的数据膨胀（清除历史版本）问题
Laurence的技术博客
04-08 2934
本文要讨论的是这样一个问题：使用Hudi的COW表时，有一个很明显的现象：当表中有大量的更新数据写入时，落地的parquet文件往往总大小往往要double，每写入一次就会double一次，对于数据体量非常大，且每次都有大量更新的数据来说，不禁会让人担心：这种数据膨胀是否会快速耗尽存储资源？有没有可以克制的方法？其实，这并不是一个问题，而是Hudi表的正常表现，我们先从原理上来看一下产生这个问题背后的原因。 对于Huidi COW表的工作方式，下图有非常清晰的演示： 我们要注意到：Copy-On-Writ
Apache Hudi数据湖的File Sizing
Bulut0907
06-15 739
目录1. 目标2. Auto-Size During ingestion2.1 For Copy-On-Write2.2 For Merge-On-Read3. Auto-Size With Clustering 注意：HDFS上的文件永远是不变的。将数据写入小文件，是通过将数据与小文件合并，生成一个new version file 1. 目标 Hudi通过控制file的大小，来避免创建过多的小文件。有两种方法： Auto-Size During ingestion Auto-Size With Cl
【数据湖Hudi-9-Hudi集成Flink-核心参数&内存优化】
weixin_38136584的博客
01-12 1019
数据湖Hudi-9-Hudi集成Flink-核心参数&内存优化
Amazon EMR Hudi 性能调优——Clustering
亚马逊云科技专栏
08-14 859
随着数据体量的日益增长，人们对 Hudi 的查询性能也提出更多要求，除了 Parquet 存储格式本来的性能优势之外，还希望 Hudi 能够提供更多的性能优化的技术途径，尤其当对 Hudi 表进行高并发的写入，产生了大量的小文件之后，又需要使用 Presto/Trino 对 Hudi 表进行高吞吐的即席查询的场景里。怎样处理这些小文件，即把原本是写优化的Hudi 表，让它也能支持读优化，就成了使用 Hudi 的用户需要解决的问题。
Hudi系列22:离线Clusting
只是甲的博客
05-19 736
异步的 clustering 相对于 online 的 async clustering 资源隔离， 从未更加稳定。仍然保持开启，由写任务阶段性出发 clustering plan。为 false，关闭在线 clustering。推荐由写定时出发，写参数。
基于数据湖格式构建流式增量数仓—CDC
数据库技术
02-22 392
今天以 Apache Hudi 为主，分享一下数据湖格式上实现 CDC 的一些思考和注意点，以及一些流式 streaming 通用的优化点，和 Hudi CDC 的后续规划。
【Apache Hudi】一种基于增量日志文件数的压缩策略
苏苏爱自由
09-21 1335
Hudi 提供了一种新的表类型：MOR 表。该表在每次的 upsert 操作时，并不会实时的和基础数据文件进行合并，而是生成新的增量日志文件，而增量文件和基础文件的合并就叫做压缩（compaction）。所以当一个读操作读取 MOR 表时，此时会读取该表的基础数据文件和所有的增量日志文件，然后进行一个合并操作（比如根据主键聚合取更新时间最新的那条数据），最后将合并后的结果返回给终端。
hudi语法
最新发布
03-22
<think>好的，用户想了解Apache Hudi的语法文档和示例。首先，我需要回顾一下Hudi的核心概念和操作类型。Hudi主要支持两种表类型：Copy-on-Write（COW）和Merge-on-Read（MOR）。COW在写入时合并数据，适合读多写少的场景；而MOR则优化了写入性能，适合频繁写入的情况。 接下来，用户可能需要知道如何通过不同的工具（比如Spark SQL、Flink或Hive）来操作Hudi表。根据引用[4]和[5]，Hudi已经与Spark SQL集成，用户可以使用SQL语句进行表的创建、插入、更新等操作。例如，创建COW表时，需要指定主键、预合并字段以及表类型。 然后，用户可能关心具体的语法示例。比如，如何创建表，如何进行插入、更新、删除操作，还有时间旅行查询和增量查询这些高级功能。引用[5]提到，Hudi支持增量查询，可以读取某个提交之后的变更数据，这对于流处理场景非常有用。 另外，用户可能需要了解如何与其他大数据组件集成，比如Presto或Hive，以便查询Hudi表。引用[4]中提到，将Hudi的jar包放入Presto的插件目录后，就可以通过Hive连接器查询Hudi表，这需要配置Hive Metastore的地址。 同时，需要注意Hudi的不同版本可能有语法差异，用户需要根据自己使用的版本来参考对应的文档。例如，Hudi 0.10.0之后对Spark SQL的支持更加完善，而之前的版本可能需要使用DataFrame API。 最后，用户的问题可能涉及到实际应用中的问题，比如性能优化或与其他系统的整合。根据引用[1]和[2]，Hudi与Doris的结合可以提升查询和分析效率，这可能为用户提供更多的应用场景参考。 总结来说，我需要整理Hudi的核心语法和操作示例，涵盖表创建、数据操作、查询以及与其他工具的集成，同时引用相关的社区资料来支持回答的可靠性。</think>### Apache Hudi 语法文档及示例 Apache Hudi 是一种支持高效数据更新、删除和增量处理的数据湖存储格式，其核心语法主要围绕**表类型**、**操作类型**和**数据管理功能**展开。以下是 Hudi 核心语法及示例： --- #### 1. **表类型** Hudi 支持两种表类型，需在建表时通过 `type` 参数指定： - **Copy-on-Write (COW)**：写入时合并，适合读多写少场景。 - **Merge-on-Read (MOR)**：写入时追加日志，读取时合并，适合写多读少场景。 **示例：创建 COW 表（Spark SQL）** ```sql CREATE TABLE hudi_cow_table ( id INT, name STRING, value DOUBLE, ts BIGINT ) USING HUDI TBLPROPERTIES ( type = 'cow', primaryKey = 'id', preCombineField = 'ts' ); ``` --- #### 2. **数据操作** ##### **插入数据** ```sql INSERT INTO hudi_cow_table VALUES (1, 'A', 10.5, 1672502400000), (2, 'B', 20.3, 1672502400001); ``` ##### **更新数据** ```sql UPDATE hudi_cow_table SET value = 15.0 WHERE id = 1; ``` ##### **删除数据** ```sql DELETE FROM hudi_cow_table WHERE id = 2; ``` --- #### 3. **增量查询** 通过 `hoodie.read.timeline.mode` 参数指定增量范围： ```sql SELECT * FROM hudi_cow_table TIMESTAMP AS OF '2023-01-01 00:00:00'; -- 时间旅行查询 ``` ```scala // 增量读取（Spark DataFrame） spark.read .format("hudi") .option("hoodie.datasource.query.type", "incremental") .option("hoodie.datasource.read.begin.instanttime", "20230101000000") .load("/path/to/hudi_table"); ``` --- #### 4. **与 Hive/Presto 集成** Hudi 表可通过 Hive Metastore 直接查询： 1. **Hive 中同步表**： ```sql MSCK REPAIR TABLE hudi_cow_table; ``` 2. **Presto 查询**（需配置 Hive Connector）： ```sql SELECT * FROM hive.default.hudi_cow_table; ``` --- #### 5. **高级功能** - **Clustering（文件优化）**： ```sql CALL run_clustering(table => 'hudi_cow_table'); ``` - **Compaction（MOR 表专用）**： ```sql CALL run_compaction(table => 'hudi_mor_table'); ``` --- ### 相关文档参考 1. **Hudi 与 Spark SQL 集成**：支持通过 SQL 直接操作 Hudi 表，简化数据管理流程[^5]。 2. **Hudi 与 Presto/Hive 集成**：通过 Hive Metastore 实现跨引擎查询，适用于湖仓一体架构[^4][^2]。 3. **增量处理**：Hudi 的增量查询功能可高效处理流式数据变更，结合 Flink 或 Spark Streaming 使用[^3]。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值