大数据组件源码编译

1源码下载、编译

1.1Dinky

当前使用的是Dinky 1.0.3版，前端编译依赖的组件Node(v14.20.0)、Npm(6.14.17)、python(3.8)

组件	链接
Dinky	https://github.com/DataLinkDC/dinky/archive/refs/tags/v1.0.3.zip
Node	https://mirrors.huaweicloud.com/nodejs/
Npm
Python	https://www.python.org/downloads/

组件下载好之后，记得配置环境变量，指令如下

vi  /etc/profile

source /etc/profile

1.1.1Dinky前端编译

1. cd dinky-web
2. npm install
3. npm add jquery
4. npm run build

编译完成后，可以在dist目录下获取编译后的文件

1.1.2Dinky后端编译

1. mvn clean
2. mvn package -DskipTests=true -Dspotless.check.skip=true -Pflink-1.14 -Pscala-2.12 -Pprod -Pflink-single-version -Paliyun -Dhadoop.version=3.1.1

编译完成后在build目录会出现dinky-release-1.14-1.0.3.tar.gz

1.2Flink

当前使用的是Flink1.14版，编译依赖的组件为maven(3.9.9)

组件	链接
Maven	https://maven.apache.org/
Flink	https://archive.apache.org/dist/flink/flink-1.14.6/flink-1.14.6-src.tgz

组件下好后，可自行搜索配置

1.2.1Flink编译

编译前pom.xml依赖的hadoop版本修改如下：

<hadoop.version>2.4.1</hadoop.version> 改为 <hadoop.version>3.1.1</hadoop.version>

编译指令如下：

1. mvn clean
2. mvn package -DskipTests -Dspotless.check.skip=true -Pscala-2.12 -Pfast -Dhadoop.version=3.1.1

编译完成后，找到flink-dist/target/flink-1.14.6-bin文件夹,打包文件，指令如下

tar -czvf flink-1.14.6.tar.gz flink-1.14.6

1.3Hudi源码编译

hudi源码编译使用的是0.12.3

组件	链接
Hudi	https://dlcdn.apache.org/hudi/0.12.3/hudi-0.12.3.src.tgz

编译指令如下

1. mvn package -DskipTests=true -Dspotless.check.skip=true -Pflink1.14 -Pscala-2.12 –Pspark2.4 -PskipShadeSources -Pflink-bundle-shade-hive2 –Prelease