Apache Hudi初探(一)(与flink的结合)

原创

已于 2023-06-18 16:56:50 修改 · 1.6k 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#apache #flink #大数据 #hudi

于 2023-06-18 16:53:18 首次发布

文章详细介绍了Flink如何通过SPI方式与Hudi集成，无需像Spark那样设置特定扩展。重点解析了HoodieTableFactory在写数据过程中的作用，以及HoodieTableSink如何处理数据写入，包括BulkInsert和Append模式。在写入过程中，涉及到Flink的checkpoint机制、索引构建、任务并行度设置以及异步Compaction等关键步骤。

背景

和Spark的使用方式不同，flink结合hudi的方式，是以SPI的方式，所以不需要像使用Spark的方式一样,Spark的方式如下：

spark.sql.extensions=org.apache.spark.sql.hudi.HoodieSparkSessionExtension
spark.sql.catalog.spark_catalog=org.apache.spark.sql.hudi.catalog.HoodieCatalog

（这里不包括org.apache.spark.sql.sources.DataSourceRegister）
Flink结合Hudi的方式，只需要引入了对应的jar包即可，以SPI的方式:

META-INF/services/org.apache.flink.table.factories.Factory
org.apache.hudi.table.HoodieTableFactory
org.apache.hudi.table.catalog.HoodieCatalogFactory

其中 HoodieTableFactory 是读写Hudi数据的地方，
HoodieCatalogFactory是操作Hudi用到的Catalog

先说杂谈

直接先解释一下Hudi的写数据：

HoodieTableFactory

  @Override
  public DynamicTableSink createDynamicTableSink(Context context) {
    Configuration conf = FlinkOpt

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

鸿乃江边鸟

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

利用Hudi Bootstrap转化现有Hive表的parquet/orc文件为Hudi表

主要分享大数据相关的知识，如Spark、Hudi

10-12

1893

在最开始学习Hudi源码时，就发现了Hudi有一个Bootstrap功能，但是一直没用过，通过官网文档可知,它可以将现有的表件转化为Hudi表，而且有两种类型和，但是文档并不详细，比如这两种类型的区别具体是啥，支持哪些文件类型的源表。于是带着这些疑问来学习一下它是如何使用的以及源码原理的实现，这样可以更全面的了解Hudi。本文介绍了如何利用Hudi Bootstrap转化现有Hive表为Hudi表，提供了完整的代码示例，并分析了和。

Hudi 写入流程（图）

主要分享大数据相关的知识，如Spark、Hudi

07-05

428

主要为之前总结的源码文章补充流程图。总结一下整体流程。

1 条评论您还未登录，请先登录后发表或查看评论

Apache Hudi 使用指南

qq_44619294的博客

09-27

298

Apache Hudi(简称：Hudi)使得您能在hadoop兼容的存储之上存储大量数据，同时它还提供两种原语，使得除了经典的批处理之外，还可以在数据湖上进行流处理。

Hudi（14）：Hudi集成Flink之核心参数设置

yang_shibiao的博客

01-30

1961

Hudi-集成Spark之spark-shell 方式

迷雾总会解

02-13

652

我们希望类似hive的 "insert overwrite "操作，以忽略现有数据，只用提供的新数据创建一个提交。注意：该表有三级分区（区域/国家/城市），在0.9.0版本以前的hudi，在load中的路径需要按照分区目录拼接"*"，如：load(basePath + “/查询特定时间点的数据，可以将endTime指向特定时间，beginTime指向000（表示最早提交时间）新增数据，生成一些数据，将其加载到DataFrame中，然后将DataFrame写入Hudi表。目前支持三种查询时间格式，如下所示。

2024年09月数据月报

SmartSi

10-13

851

2024年09月数据月报，为您准备了阿里、字节、百度等大厂120多篇实践案例

2024年12月数据月报

热门推荐

qq_38363255的博客

12-17

1万+

通过SPI 找不到想要的接口，可以超尝试以下骚操作：先resources目录下面创建META-INF目录，接着在其下面继续创建services目录，因为找不到的TableFactory的子类都在org.apache.flink.table.factories.TableFactory里配置，所以我们创建这个文件，然后把未能加载的类都放进去，前提要保证你的jar包里面这些类确实存在如下图，然后重新打包JAR 发不到集群运行。有问题欢迎加微信交流哟：yekepingyy ...

Hudi（7）：Hudi集成Spark之spark-sql方式

yang_shibiao的博客

01-02

3511

默认情况下，如果提供了preCombineKey，则insert into的写操作类型为upsert，否则使用insert。hoodie.sql.bulk.insert.enable 和 hoodie.sql.insert.mode。不需要指定模式和非分区列（如果存在）之外的任何属性，Hudi可以自动识别模式和配置。同hoodie.datasource.write.table.type。为了提高向hudi表加载数据的性能，CTAS使用批量插入作为写操作。表的主键名，多个字段用逗号分隔。

Apache Hudi Spark Guide

lucklilili

12-18

449

使用Spark数据源，我们将浏览代码片段，这些代码片段允许您插入和更新默认表类型的Hudi表：Copy on Write。在每次写入操作之后，我们还将演示如何以快照和增量方式读取数据。

Could not find a suitable table factory for ‘org.apache.flink.table.factories.CatalogFactory‘

微电子学与固体电子学-俞驰

12-19

1702

(Python3.6) appleyuchi@Desktop:~/bigdata/flink-1.12$ $FLINK_HOME/bin/sql-client.sh embedded -d $FLINK_HOME/conf/flink-hive.yaml 完整報錯如下: SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/home/appleyuchi/bigdata/flink..

FlinkSql（二）API使用-sink

星星的博客

08-09

1799

表的输出，是通过将数据写入 TableSink 来实现的。TableSink 是一个通用接口，可以支持不同的文件格式、存储数据库和消息队列。具体实现，输出表最直接的方法，就是通过 Table.insertInto() 方法将一个 Table 写入注册过的 TableSink 中。

flink结合hudi

10-11

Flink与Hudi结合可以实现流式数据处理和实时数仓的构建。Flink是一个流式处理框架，可以提供高吞吐量、低延迟的数据处理能力，而Hudi是一个用于数据湖管理的开源框架，可以提供数据更新、插入和删除的能力。结合Flink和Hudi可以实现以下功能： 1. 实时数据写入：使用Flink将实时流数据写入Hudi，可以保证数据的一致性和可靠性。Flink提供了丰富的转换操作和窗口机制，可以对数据进行实时处理后再写入Hudi。 2. 增量数据更新：Flink可以对输入流进行增量计算，并将计算结果写入Hudi中。这样可以实现对实时数据的更新操作，保持数据的最新状态。 3. 批量数据处理：Flink也支持批处理模式，可以将批量数据写入Hudi。这种模式适用于对历史数据进行处理或者进行定期的全量数据推送。