大数据之Hudi数据湖_执行编译hudi命令和jar包位置_hudi和hive集成_和spark集成_和presto集成_和flink集成_和trino集成---大数据之Hudi数据湖工作笔记0004

已于 2023-10-11 21:14:13 修改
阅读量289 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 开源&回归和&数据库 文章标签： hudi编译源码 hudi编译并和flink集成 hudi和spark集成 hudi和hive集成 hudi和presto集成 hudi和trino集成
于 2023-10-11 20:56:41 首次发布
本文为博主原创文章，未经博主 添柴程序猿 允许不得转载 违者追究法律责任。
本文链接：https://blog.youkuaiyun.com/lidew521/article/details/133775690
本文档详细介绍了如何编译Hudi源码，并与Spark、Flink、Hive、Presto和Trino集成。在Hudi根目录执行编译命令，确保指定合适的Spark版本。编译完成后，可通过hudi-cli验证成功。集成Flink时，将hudi-flink-bundle的jar包放入Flink的lib目录；集成Hive时，将hudi-hive-sync-bundle和hudi-hadoop-mr-bundle的jar包放入Hive的lib目录。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在hudi源码的根目录执行就可以了,注意要指定spark的版本上面指定的是3.2 如果不指定默认是3,最好都指定一下.

这里在执行编译之前,我们可以先去看一下在hudi的源码目录下,有个README.md

这个文件

去看看她支持的java 版本和git maven版本

了解本专栏 订阅专栏 解锁全文 超级会员免费看
流式数据湖平台实战 | 在FlinkSQL中集成和使用Hudi
shangjg3的博客
10-07 574
2.插入数据本文介绍在Flink 中集成和使用Hudi。介绍Flink如何将Streaming引入Hudi。在Hudi上使用Flink，并学习Flink读写Hudi的不同模式：Flink SQL客户端写入：Flink SQL客户端写入（读取）Hudi。配置：对于全局配置，通过$FLINK_HOME/conf/FLINK-conf.yaml进行设置。对于每个作业配置，通过表选项进行设置。
FlinkCDC+Hudi+Hive大数据实时入湖基础实战
zhaozhufeng的博客
12-03 5707
大数据实时入湖，flink+hudi+hive
Hudi学习03 -- Spark操作hudi（Spark-shell 和 PySpark）
patrick_big_data的博客
01-03 3220
spark操作hudi spark-shell pyspark
Hudi最强指南 — Hudi的安装部署（Linux）
2301_78038072的博客
03-26 9440
随着大数据技术的飞速发展，企业对于数据处理的效率和实时性的要求也越来越高。Hadoop作为大数据领域的领军技术，长久以来一直承载着海量数据的存储和处理任务。然而，传统的Hadoop数据模型在处理更新和删除操作时的局限性，使得它难以满足实时数据湖等复杂场景的需求。正是在这样的背景下，Hudi应运而生。
Hudi入门到实战
S1124654的博客
12-20 2247
Hudi入门到实战
hudi介绍和使用
lijian972的博客
02-14 9423
hudi的入门和使用
数据湖之Hudi（7）：使用docker进行Hudi的快速体验和使用
yang_shibiao的博客
02-22 4708
目录 0. 相关文章链接 1. 构建CentOS7环境 2. 设置Docker 2.1. 编译Hudi源码 2.2. 安装docker和docker-compose 2.3.运行 docker compose 脚本并设置配置以启动集群 3. 运行Demo 3.1. 使用脚本拉取案例数据并发送到kafka中 3.2. 将kafka中的数据写入到Hudi中 3.3. hudi数据于hive的集成 3.4. 运行hive执行查询 3.5. 运行Spark-SQL集成Hudi 3.6. .
Hadoop、Spark、Flink、Hive、Flume、kafka等大数据框架的角色和关系
QAQ_JUIMY的博客
12-20 6966
大数据框架
数据湖架构与实时数仓实践：Hudi、Iceberg、Kafka + Flink + Spark
晴天彩虹雨的博客
03-09 1458
本篇文章介绍了数据湖架构实时数仓设计，并通过 Kafka + Flink + Spark 构建高效的数据湖方案。未来，数据湖将在存算分离数据湖仓一体化云原生大数据分析等方向持续优化，为企业提供更高效的实时分析能力。
「Hudi系列」Hudi查询&写入&常见问题汇总
微信搜：import_bigdata，大数据领域硬核原创作者
05-17 6561
点击上方蓝色字体，选择“设为星标”回复"面试"获取更多惊喜八股文教给我，你们专心刷题和面试阅读本文前必读：1. 「Apache Hudi系列」核心概念与架构设计总结2. 「Hudi系列」Apache Hudi入门指南 | SparkSQL+Hive+Presto集成3. Apache Hudi 0.11 版本重磅发布，新特性速览!1.Hudi基本概念 ：Apache H...
Hudi Admin CLI使用指南————附带详细步骤
韩江雪de 小屋
07-29 2409
文章目录hudi Admin CLI使用指南0 常见问题0.1 常用指标0.2 故障排除0.2.1 缺失记录0.2.2 重复0.2.3 Spark故障0 开始使用1 建立与Hudi数据集的联建2 查看hudi表信息3 显示所有可用指令4 查看提交4.1 检查提交4.2 深入到特定的提交4.2.1 了解写入如何分散到特定分区4.2.1 深入到某次文件级粒度5 文件系统视图5.1 查看数据集的文件切片6 统计信息7 压缩7.1 压缩前的准备7.2 手动压缩7.3 取消压缩7.4 修复压缩 hudi Admin
Hudi学习一：Hudi简介
热门推荐
NC_NE的博客
05-15 3万+
数据湖-Hudi学习
Hudi核心知识点详解——快速入门数据湖
Maynor的博客
05-10 9413
Hudi的入门文章
Hudi 操作入门
雾岛与鲸的博客
03-03 2780
1、构建环境 版本: spark 2.4.5 hudi 0.11.0 > git clone https://github.com/apache/hudi.git && cd hudi > vim pom.xml > 配置阿里云maven镜像库 > mvn clean package -DskipTests -DskipITs 2、通过spark-shell快速启动 > ./spark-shell --packages org.apache.spark:spa
Apache Hudi 详解
风中云彩的博客
12-26 2万+
1. 什么是Hudi？ Apache Hudi代表Hadoop Upserts anD Incrementals，管理大型分析数据集在HDFS上的存储。Hudi的主要目的是高效减少摄取过程中的数据延迟。由Uber开发并开源，HDFS上的分析数据集通过两种类型的表提供服务：读优化表（Read Optimized Table）和近实时表（Near-Real-Time Table）。 读优化表的...
SparkSQL操作hudi
m0_43405302的博客
02-05 3513
文章目录SparkSQL操作hudi1、登录2、创建普通表3、创建分区表4、从现有表创建表5、用查询结果创建新表(CTAS)6、插入数据7、查询数据8、修改数据9、合并数据10、删除数据11、覆盖写入12、修改数据表13、hudi分区命令 SparkSQL操作hudi 1、登录 #spark 3.1 spark-sql --packages org.apache.hudi:hudi-spark3.1.2-bundle_2.12:0.10.1,org.apache.spark:spark-avro_2.12:
hudi学习一（初识hudi)
wang972779876的博客
06-21 8278
什么是hudi Hudi（发音为“hoodie”）摄取与管理处于DFS(HDFS或云存储)之上的大型分析数据集并为查询访问提供三个逻辑视图。 读优化视图 - 在纯列式存储上提供出色的查询性能，非常像parquet表。 增量视图 - 在数据集之上提供一个变更流并提供给下游的作业或ETL任务。 准实时的表 - 使用基于列存储和行存储(例如 Parquet +Avro)以提供对实时数据的查询 通过仔细地管理数据在存储中的布局和如何将数据暴露给查询，Hudi支持丰富的数据生态系统，在该系统中，外部数据源..
【大数据开发】Hudi——Hudi快速入门
白色风车
11-09 4530
Hudi快速入门 Hudi中文文档 spark2.4版本以上才能整合Hudi 一、设计原则 流式读/写 Hudi应用于大型数据集记录流的输入和输出 Hudi通过其特殊列添加并跟踪记录级的元数据 自管理 如果任务失败会自动回滚，并且再次尝试 万物皆日志 内部存储是以日志的形式保存 键-值数据模型 Hudi表被建模为键值对数据集 二、表类型 Copy On Write表（COW）——写时复制 COW表写的时候数据直接写入basefile,（parquet）不写log文件。所以COW表的文.
数据湖之Hudi（6）：Hudi与Spark和HDFS的集成安装使用
yang_shibiao的博客
02-21 7702
目录 0. 相关文章链接 1. 编译Hudi源码 1.1. Maven安装 1.2. 下载并编译hudi 2. 安装HDFS 3. 安装Spark 4. 在spark-shell中运行hudi程序 主要介绍的Apache原生的Hudi、HDFS、Spark等的集成使用 0. 相关文章链接 大数据基础知识点 文章汇总 1. 编译Hudi源码 虽然对hudi的下载编译在博主的另一篇博文里有介绍，但这里是系统的介绍Hudi的体验使用，所以在介绍一遍。 1.1. Maven安装
hudi和hive
最新发布
04-20
之前他们问的是实时数据选哪种数据库，我推荐了HBase、TDengine、Redis这些，但这里用户提到了Hudi和Hive，这两个都是大数据领域的工具，但用途不同。 首先，Hive是传统的基于Hadoop的数据仓库工具，主要用于批处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

添柴程序猿

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值