数据湖仓一体(一) 编译hudi

mark_wu2000

已于 2024-07-17 21:19:03 修改

阅读量1k

点赞数 25

CC 4.0 BY-SA版权

分类专栏：数据湖文章标签：大数据数据湖

于 2024-07-12 11:04:02 首次发布

本文链接：https://blog.youkuaiyun.com/mark_wu2000/article/details/140372282

一、大数据组件版本信息

hudi-0.14.1
zookeeper-3.5.7
seatunnel-2.3.4
kafka_2.12-3.5.2
hadoop-3.3.5
mysql-5.7.28
apache-hive-3.1.3
spark-3.3.1
flink-1.17.2
apache-dolphinscheduler-3.1.9

二、数据湖仓架构

三、数据湖仓组件部署规划

node106	node107	node108	node109	node110
ZK	ZK	ZK
seatunnel	seatunnel	seatunnel
kafka	kafka	kafka
RM	RM
		NM	NM	NM
NN	NN
		DN	DN	DN
JN

最低0.47元/天解锁文章

200万优质内容无限畅学

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

mark_wu2000

关注关注

25
点赞
踩
8

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

Hudi0.14.0最新编译（修订版）

跟着大数据和AI去旅行

01-15

545

Hudi0.14.0 最新编译（修订版）

hudi 编译

地球人是我哈的博客

10-12

2097

编译hudi 下载hudi git clone https://github.com/apache/incubator-hudi.git && cd incubator-hudi 编译 mvn clean install -DskipTests -DskipITs 注意: 这一步有可能会报错，我在编译的时候，因为hudi源码中hudi-utilities下的pom文件中有四...

参与评论您还未登录，请先登录后发表或查看评论

【Hudi】编译

weixin_45746689的博客

06-11

1142

通过网址下载：http://packages.confluent.io/archive/5.3/confluent-5.3.4-2.12.zip。(1)上传apache-maven-3.6.1-bin.tar.gz到/opt/software目录，并解压更名。修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。Hudi默认依赖的hadoop2，要兼容hadoop3，除了修改版本，还需要修改如下代码。（1）修改setting.xml，指定为阿里仓库地址。

Hudi编译

寒暄的博客

04-27

1523

编译hudi 首先安装maven，修改仓库为aliyun，准备进行maven编译。 <mirror> <id>aliyunmaven</id> <mirrorOf>*</mirrorOf> <name>阿里云公共仓库</name> <url>https://maven.aliyun.com/repository/public</url> </mirror>

Hudi的编译安装

m0_43405302的博客

02-05

2372

文章目录hudi搭建1、下载maven安装包2.解压并配置环境变量1.解压安装包2.配置环境变量3、maven仓库配置1.打开文件2.输入以下内容4、验证maven仓库是否配置完成5、编译打包hudi1.解压文件2.配置相关配置信息3.编译 hudi搭建对于hudi的安装，我们需要自己下载包进行编译。hudi下载地址Index of /dist/hudi (apache.org) ，下面是hudi编译的详细步骤： 1、下载maven安装包 maven下载地址为：https://maven.apache.o

Hudi 系列（二）- 编译 hudi

韩江雪de 小屋

06-01

1671

编译 hudi 如果是第一次编译 hudi 会花很长时间，maven 本地仓库为空的情况下，我花了40分钟（视网络环境）。编译步骤如下：下载 releace 源代码，https://hudi.apache.org/releases，现在的最新版本是0.7.0 。安装 maven ，maven 的版本选择 3.6.3 。配置 maven 的 setting.xml 为中央仓库增加里面增加 aliyun 的 mirror 仓库。修改 hudi 项目 pom.xml 里面增加 aliy...

湖仓一体介绍及spark操作hudi

chenlei0520的博客

02-08

1462

湖仓一体介绍及spark操作hudi

数据湖架构开发-Hudi入门教程

Aa112233aA1的博客

01-24

2731

当下大数据技术在工业环境中应用，主要构建离线数仓和实时数仓，进行大规模数据管理和分析。为了更好管理数据，出现数据湖DataLake：用来存储大量的原始数据。当下最流行数据湖框架Apache Hudi，使用HDFS存储数据，集成Spark、Flink、Hive等分析数据，逐步在大中型公司中使用，构建湖仓一体化架构。为了让大家更好学习使用Hudi，基于0.9.0版本，推出本套课程，从数据湖概念，到集成Spark和Flink，最后整合实际需求案例，由0到1深入浅出剖析Hudi使用，整个课程分为：基础入门篇、应用进

第3节 hudi hive 数据同步，实现湖仓一体 cdh6.3.2存在版本兼容问题，spark可以查询HoodieParquetRealtimeInputFormat格式表，hive查询报错

等夏天

10-08

2606

对接hive （1）将Hudi目录编译好的hudi-hadoop-mr-bundle-0.9.0.jar，复制到hive的lib下让hive支持hudi,需要重启hiveserver2服务,或者不加入也可，在执行hive sql 时add jar也可先复制分发jar包到hiveserver2节点 [xxx@xxx target]# rsync -rvl hudi-hadoop-mr-bundle-0.9.0.jar xxx@xxx:/data/software/ 如下图已经放置在hiv

FlinkCDC+Hudi+Hive大数据实时入湖基础实战

zhaozhufeng的博客

12-03

5711

大数据实时入湖，flink+hudi+hive

hudi编译所需jar包.zip

04-27

kafka-schema-registry-client-6.1.1.jar pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar common-config-6.1.1.jar common-utils-6.1.1.jar kafka-avro-serializer-6.1.1.jar

hudi-flink1.17-bundle-0.14.0-sources.jar

12-22

这是Flink1.17、hudi 0.14 、hadoop 3.3.4、hive 3.1.3、Spark 3.2.3 编译出来的版本

Hudi编译安装

weixin_45417821的博客

10-20

2689

（1）上传apache-maven-3.6.1-bin.tar.gz到/opt/software目录，并解压更名。修改了Hive版本为3.1.2，其携带的jetty是0.9.3，hudi本身用的0.9.4，存在依赖冲突。否则在使用DeltaStreamer工具向hudi表插入数据时，也会报Jetty的错误。将hudi-0.12.0.src.tgz上传到/opt/software，并解压。（1）修改setting.xml，指定为阿里仓库地址。1）新增repository加速依赖下载。2）修改依赖的组件版本。

hudi-0.10.0编译

qq_43785075的博客

02-13

1309

Hudi-0.10.0的编译一、系统环境二、编译过程三、小结一、系统环境操作系统 Linux 3.10.0-862.el7.x86_64 #1 SMP 2018 x86_64 x86_64 x86_64 GNU/Linux hadoop版本 hadoop-3.1.3 maven版本 maven-3.8.4 maven的镜像源 <mirrors> <mirror> <id>alimaven</id> &

[大数据]Hudi编译集成