Flink、Spark、Hive集成Hudi 1.0.1详细教程

已于 2025-02-18 11:09:33 修改
阅读量1k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： 大数据组件安装部署教程 大数据问题处理 文章标签： flink spark hive hudi flink集成hudi hive集成hudi spark集成hudi
于 2023-09-14 09:46:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/QYmufeng/article/details/132809122
本文详细介绍了如何将Flink、Spark和Hive分别与Hudi进行集成，包括环境配置、jar包的处理、配置文件的修改以及各组件之间的交互测试。在Flink集成Hudi中，涉及内存建表和Hive Catalog同步，而在Spark集成Hudi中，重点在于Spark SQL的使用。Hive集成Hudi则包括了外部表的创建和管理。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.最新Apache Hudi 1.0.1源码编译

2.Flink、Spark、Hive集成Hudi 1.0.1

3.flink streaming写入hudi

目录

1. 版本介绍

2. Hive集成hudi

2.1. 需要的jar包依赖

2.2. 集成

2.3. 重启hive服务

3. Spark集成hudi

3.1. 需要的jar包依赖

3.2. 集成

3.3. 重启服务

3.4. 测试

4. Flink集成hudi

4.1. 需要的jar包依赖

4.2. 集成

4.3. 修改flink配置

4.4. 重启flink-standalon集群

4.5. 测试

4.6. Flink写入hudi并同步到hive

5. 在hive中测试

 

1. 版本介绍

maven：3.9.9

hudi：1.0.1

Spark：3.3.2

Flink：1.15.2

Hadoop：3.3.4

Hive：3.1.3

2. Hive集成hudi

了解本专栏 订阅专栏 解锁全文 超级会员免费看
02 hudi 命令大全
QYmufeng的博客
02-17 410
hudi1.0.1源码编译 2.2. 设置环境变量 2.3. 添加Maven镜像 vim /usr/local/soft/apache-maven-3.9.9/conf/settings.xml 3. 编译hudi 3.1. 下载hudi源码 官网：Download | Apache Hudi修改 hudi-1.0.1
数据湖（五）：Hudi与Hive集成
Lansonli（蓝深李）的博客
05-30 3907
Hudi与Hive集成原理是通过代码方式将数据写入到HDFS目录中，那么同时映射Hive表，让Hive表映射的数据对应到此路径上，这时Hudi需要通过JDBC方式连接Hive进行元数据操作，这时需要配置HiveServer2。
Hudi 与 Hive 集成
最新发布
qq_42773076的博客
06-15 990
Hudi 集成 Hive 的核心在于元数据的同步与数据格式的适配。Hudi 表的数据存储在 HDFS 等分布式文件系统中，通过特定的配置和工具，将 Hudi 表的元数据同步到 Hive Metastore 中，使得 Hive 能够识别和查询 Hudi 表。同时，Hudi 提供了适配 Hive 的输入格式，确保 Hive 在查询 Hudi 表时，能够正确解析数据。​。
Hudi原理 | Apache Hudi初学者指南
Focus on Lakehouse
11-23 3634
在深入研究Hudi机制之前，让我们首先了解Hudi正在解决的问题。客户在使用数据湖时通常会问一个问题：当源记录被更新时，如何更新数据湖？这是一个很难解决的问题，因为一旦你写了CSV或Pa...
Hudi-集成 Hive
迷雾总会解
02-13 2914
一般来说 Hudi 表在用 Spark 或者 Flink 写入数据时会自动同步到 Hive 外部表（同6.2）， 此时可以直接通过 beeline 查询同步的外部表，若写入引擎没有开启自动同步，则需要手动利用 hudi 客户端工具 run_hive_sync_tool.sh 进行同步，具体后面介绍。Hive sync tool提供三种同步模式，JDBC，HMS，HIVEQL。为了向后兼容旧的Hudi版本，提供了一个可选的配置 --skip-ro-suffix，如果需要，可以关闭’_ro’后缀。
Hudi 集成 Hive
雾岛与鲸的博客
03-07 5261
环境: hudi 0.10.1 spark 2.4.5 hive 2.3.7 hadoop 2.7.5 1、建表并插入数据 hudi会自动创建表，也可以提前建表: CREATE EXTERNAL TABLE `member_rt`( `_hoodie_commit_time` string, `_hoodie_commit_seqno` string, `_hoodie_record_key` string, `_hoodie_partition_path` string, `_hood
数据湖（五）：Hudi 与 Hive 集成
wr_java的博客
04-04 544
Hudi 与 Hive 集成原理是通过代码方式将数据写入到 HDFS 目录中，那么同时映射 Hive 表，让 Hive 表映射的数据对应到此路径上，这时 Hudi 需要通过 JDBC 方式连接 Hive 进行元数据操作，这时需要配置 HiveServer2。此外，我们也可以不需要每次都自己手动添加分区，而是创建好对应的 Hive 表后，在代码中向 Hudi 中写数据时，指定对应的 Hive 参数即可，这样写入的数据自动会映射到 Hive 中。查询 Hive 中对应两张表的数据结果。
Hudi系列13:Hudi集成Hive
只是甲的博客
02-02 3984
Hudi集成hive
hudi简单使用教程
weixin_45322781的博客
01-02 849
GBase 8a新增支持创建hudi Catalog,支持通过Catalog 实现 hudi表的读写功能，实现 GBase 8a 直接读取hudi表数据以及直接写入数据到hudi表。GBase 8a 新增支持Hudi 外部表功能，支持创建、查看、删除、查询Hudi 外部表，可以导入Hudi 外部表数据到8a的内部表，也支持向Hudi外部表写入数据。（2）gcdw集群创建catalog并查询。（1）往hudi插入数据。1.hudi写入数据。
Hudi集成Hive
m0_37689903的博客
09-15 372
本文主要介绍了Hudi集成Hive
Flink1.13.0 + Hudi 0.11.1 + Hive2.1.1 + presto0.273.3 + yanagishima 18.0
jiangjiangaa666的博客
07-12 1737
flink1.13.0 整合 Hudi 0.11.1 ,通过FlinkSQL程序和FlinkSQL命令行，对Hudi的MOR及COW进行批量写、流式读取、批量读取。通过flink cdc 、flink kafka 探究流式数据入Hudi案例。 探究Hudi和Hive的整合，怎么通过hive查询管理Hudi表。第1种是在hive 创建Hudi 外部表，手动加分区的形式......
Hudi安装、配置和使用————附带详细步骤
热门推荐
韩江雪de 小屋
07-06 1万+
文章目录8 Hudi配置8.1 配置环境变量8.2 脚本配置.1 kafka-source.properties.2 schema.avsc.3 sync-hive.sh.4 sync-config.sh.5 ingest-mor.sh8.3 数据入Hudi测试8.3.1 一次性入hudi8.3.2 持续入Hudi 8 Hudi配置 在Hadoop的master主节点上配置。 8.1 配置环境变量 这里使用下载好编译好的软件进行操作： 把编译好的文件放在置顶目录： cp hudi-0.8.0_yl /us
Hudi 操作入门
雾岛与鲸的博客
03-03 2796
1、构建环境 版本: spark 2.4.5 hudi 0.11.0 > git clone https://github.com/apache/hudi.git && cd hudi > vim pom.xml > 配置阿里云maven镜像库 > mvn clean package -DskipTests -DskipITs 2、通过spark-shell快速启动 > ./spark-shell --packages org.apache.spark:spa
Hudi 快速体验使用（含操作详细步骤及截图）
番茄炒蛋三分糖
06-09 2185
本示例要完成下面的流程： 需要提前安装好hadoop、spark以及hudi及组件。 spark 安装教程： https://blog.csdn.net/hshudoudou/article/details/125204028?spm=1001.2014.3001.5501 hudi 编译与安装教程： https://blog.csdn.net/hshudoudou/article/details/123881739?spm=1001.2014.3001.5501注意只Hudi管理数据，不存储数据，不分析
Hudi的使用
qq_43520412的博客
09-12 2623
第1章 Hudi概述 1.1 Hudi简介 Apache Hudi（Hadoop Upserts Delete and Incremental）是下一代流数据湖平台。Apache Hudi将核心仓库和数据库功能直接引入数据湖。Hudi提供了表、事务、高效的upserts/delete、高级索引、流摄取服务、数据集群/压缩优化和并发，同时保持数据的开源文件格式。 Apache Hudi不仅非常适合于流工作负载，而且还允许创建高效的增量批处理管道。 Apache Hudi可以轻松地在任何云存储平台上使用
数据湖技术之 Hudi 集成 Flink
数字人生
09-29 1512
Flink集成Hudi时，本质将集成jar包：hudi-flink-bundle_2.12-0.9.0.jar，放入Flink 应用CLASSPATH下即可。Flink SQLConnector支持Hudi作为Source和Sink时，两种方式将jar包放入CLASSPATH路径：● 方式一：运行Flink SQL Client命令行时，通过参数【-j xx.jar】指定jar包● 方式二：将jar包直接放入Flink软件安装包lib目录下【$FLINK_HOME/lib】
Hudi实战
cy19871228cy的博客
03-26 1935
Hudi 实战 官网 ：https://hudi.apache.org/docs/spark_quick-start-guide.html#setup 在大数据平台 华为 FusionInght HD 6.5.1中使用 hudi 0.7.0 版本 1 登录华为HD 客户端 2 由于环境离线在只能使用离线的hudi和avro包进行试验 分别下载3个jar包 3 由于我spark版本是2.3.2 有jar包冲突 先把spark libs里面的avro 包移走 4 使用spark-shel
【hudi学习笔记】hudi基础教程-hudi表设计
foxofwind的博客
10-11 3539
一. hudi表设计 在较高的层次上，用于写Hudi表的组件使用了一种受支持的方式嵌入到Apache Spark作业中，它会在支持DFS的存储上生成代表Hudi表的一组文件。然后，在具有一定保证的情况下，诸如Apache Spark、Presto、Apache Hive之类的查询引擎可以查询该表。Hudi表的三个主要组件： 1）有序的时间轴元数据。类似于数据库事务日志。 2）分层布局的数据文件：实际写入表中的数据。 3）索引（多种实现方式）：映射包含指定记录的数据集。 Hudi提供了以下.
Apache+Hudi入门指南（含代码示例）
hellojoy的博客
06-22 1998
https://blog.csdn.net/h335146502/article/details/104485494/ 1. 什么是Apache Hudi 一个spark 库 大数据更新解决方案，大数据中没有传统意义的更新，只有append和重写(Hudi就是采用重写方式) 使用Hudi的优点 使用Bloomfilter机制+二次查找，可快速确定记录是更新还是新增 更新范围小，是文件级别，不是表级别 文件大小与hdfs的Blocksize保持一致 数据文件使用parquet格式，充分利用列存的优势（dr
hudi的安装配置
03-10
<think>嗯，用户想了解Apache Hudi的安装和配置方法。我需要先整理现有的引用内容，看看哪些信息相关。引用2提到了源码编译步骤，包括使用Maven命令和参数配置，比如-Dspark3.3和-Dflink1.15。引用4提到了解压Maven的步骤，这部分可能和安装前的环境准备有关。引用1和3虽然主要讲项目结构和功能，但可能可以补充一些配置文件的介绍。 首先，安装Hudi可能需要环境准备，比如Java、Maven、Hadoop等。引用4中的解压Maven是必要步骤，但用户可能还需要安装Java和Hadoop。然后，源码编译部分在引用2里详细说明了，需要进入hudi目录执行Maven命令，参数要根据版本调整，比如Spark、Flink的版本兼容性。这部分需要注意用户的环境是否匹配，比如Hadoop版本3.3.4，可能需要用户检查自己的Hadoop版本。 接下来是配置部分，引用1提到了配置文件的介绍，比如hoodie.properties中的存储路径和表类型。用户需要根据实际环境设置HDFS路径，比如hdfs://namenode:8020/user/hudi。另外，表类型如COW或MOR的选择会影响性能，需要说明两者的区别。 然后，集成到Spark或Flink的配置，引用3提到Hudi作为Spark库的使用，可能需要添加依赖到Spark的配置中。比如在spark-defaults.conf中添加spark.jars.packages相关配置，确保Spark能识别Hudi。 可能还需要考虑常见问题，比如编译失败，可能是依赖版本不匹配，需要用户确认参数是否正确。例如，在引用2中提到的-Dspark3.3对应Spark版本，如果用户用的是Spark 3.2，可能需要调整参数。此外，Hadoop版本的问题，如果用户的环境是Hadoop 2.x，编译命令中的-Dhadoop.version也要相应修改。 用户的问题可能还涉及安装后的验证，比如运行示例作业或者查看Hudi表是否正确创建。可能需要指导用户如何提交Spark作业，或者检查HDFS上的文件结构是否符合预期。 最后，生成相关问题时要考虑用户可能的后续疑问，比如版本兼容性、配置优化、性能调优，或者与其他系统的集成，比如Hive。引用3提到Hudi支持Hive3，用户可能想知道如何配置Hudi与Hive的集成。</think>### Apache Hudi 安装与配置教程 以下是基于引用内容的安装与配置步骤整理： --- #### **1. 环境准备** - **Java**：需安装 JDK 8 或更高版本（推荐 OpenJDK）。 - **Maven**：用于源码编译，版本需 ≥3.6.3（引用[^4]中解压 Maven 后需配置环境变量）。 - **Hadoop**：Hudi 依赖 Hadoop 环境，需提前安装并配置 `HADOOP_HOME`。 - **Spark/Flink**：根据需求安装 Spark 或 Flink（引用[^2]中编译时需指定对应版本参数）。 --- #### **2. 源码编译** 从官网下载 Hudi 源码包（如 `hudi-1.0.1`），进入目录执行编译命令： ```bash cd hudi-1.0.1 mvn clean package -DskipTests -Dspark3.3 -Dflink1.15 -Dscala-2.12 -Dhadoop.version=3.3.4 -Pflink-bundle-shade-hive3 ``` 参数说明： - `-Dspark3.3`：指定 Spark 版本（根据实际版本调整，如 `-Dspark3.2`）。 - `-Dflink1.15`：指定 Flink 版本。 - `-Dhadoop.version=3.3.4`：需与环境中 Hadoop 版本一致[^2]。 --- #### **3. 配置 Hudi** 在项目配置文件（如 `hoodie.properties`）中设置核心参数： ```properties hoodie.datasource.write.storage.type = COPY_ON_WRITE # 表类型（COW 或 MERGE_ON_READ） hoodie.base.path = hdfs://namenode:8020/user/hudi # HDFS 存储路径 hoodie.table.name = hudi_table # 表名 ``` 更多配置可参考 Hudi 官方文档或项目内的 `config` 目录[^1][^3]。 --- #### **4. 集成到 Spark/Flink** - **Spark 集成**：将编译后的 Hudi JAR 包（如 `hudi-spark3.3-bundle_2.12-1.0.1.jar`）添加到 Spark 的 `jars` 目录，或在 `spark-defaults.conf` 中配置： ``` spark.jars.packages org.apache.hudi:hudi-spark3.3-bundle_2.12:1.0.1 ``` - **Flink 集成**：类似地，添加 Flink 相关依赖（如 `hudi-flink1.15-bundle`）。 --- #### **5. 验证安装** 运行简单示例作业（如写入 Hudi 表），检查 HDFS 上是否生成 `base` 和 `log` 文件目录。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Toroidals

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值