Apache Hudi数据湖源码编译

最新推荐文章于 2025-03-11 15:29:49 发布

Bulut0907

最新推荐文章于 2025-03-11 15:29:49 发布

阅读量558

点赞数

分类专栏： # Hudi 文章标签： hudi 数据湖源码编译 maven 湖仓一体

本文链接：https://blog.youkuaiyun.com/yy8623977/article/details/123750105

版权

Hudi 专栏收录该内容

14 篇文章

订阅专栏

1. 下载解压

[root@bigdata001 hudi]# 
[root@bigdata001 hudi]# pwd
/opt/hudi
[root@bigdata001 hudi]# 
[root@bigdata001 hudi]# wget https://github.com/apache/hudi/archive/refs/heads/master.zip
[root@bigdata001 hudi]# 
[root@bigdata001 hudi]# unzip master.zip
[root@bigdata001 hudi]# 
[root@bigdata001 hudi]# cd hudi-master/
[root@bigdata001 hudi-master]#

2. 使用maven编译

修改packaging/hudi-flink-bundle/pom.xml中，profile中id为flink-bundle-shade-hive3的hive.version，和你的Hive集群版本相匹配。默认是3.1.2

[root@bigdata001 hudi-master]# /opt/apache-maven-3.8.4/bin/mvn clean package -DskipTests -Dscala-2.12 -Dspark3 -Dflink1.14 -Pflink-bundle-shade-hive3
 [root@bigdata001 hudi-master]#

默认编译的是scala-2.11、spark2、flink1.14
flink-bundle-shade-hive3默认是provided，激活用于flink同步metastore到hive

编译成功后，Hudi的Flink1.14 jar包位置如下

[root@bigdata001 hudi-master]# 
[root@bigdata001 hudi-master]# ll /opt/hudi/hudi-master/packaging/hudi-flink-bundle/target/hudi-flink1.14-bundle_2.12-0.11.0-SNAPSHOT.jar
-rw-r--r--. 1 root root 46606901 3月  26 09:41 /opt/hudi/hudi-master/packaging/hudi-flink-bundle/target/hudi-flink1.14-bundle_2.12-0.11.0-SNAPSHOT.jar
[root@bigdata001 hudi-master]#