利用Bigtop3.2.0编译大数据组件RPM包
前言
原文参考:Bigtop 从0开始
参考了上述的博文自己尝试了编译组件,过程还是遇到很多问题,一一记录,方便后人。
Bigtop项目官网:BigTop
正文
Mvn本地目录的修改
我在编译过程中启动bigtop镜像的时候,把mvn挂载的目录改了,因此要在修改/usr/local/maven/conf/settings.xml
时填写相关配置信息,这个一定要注意,不然每次编译都重新下载依赖:
<localRepository>/root/.m2/repository/</localRepository>
Flink
这个是目前困扰我时间最久的一个组件,Flink的编译过程中,会去下载nodejs,但是nodejs.org被墙了,所以每次编译到runtime-web都会超时失败:
INFO: I/O exception (java.net.SocketException) caught when processing request to {
s}-https://nodejs.org:443: Network is unreachable (connect failed)
解决办法是手动下载版本包放到mvn仓库下,但是这里有个坑,如果直接使用v16.13.2版本的node,会在这一步成功后,卡在下一步,并且报一个权限异常的问题:
/ws/build/flink/rpm/BuLD/flink-1.15.3/flink-runtime-web/web-dashboard/node/npm: Permission denied
因此,整体的解决方法是,修改flink源码包中的flink-runtime-web/pom.xml
文件的npm部分为下面这样:
<plugin>
<groupId>com.github.eirslett</groupId>
<artifactId>frontend-maven-plugin</artifactId>
<version>1.11.0</version>
<executions>
<execution>
<id>install node and npm</id>
<goals>
<goal>install-node-and-npm</goal>
</goals>
<configuration>
<!--这里修改了node的版本-->
<nodeVersion>v12.22.1</nodeVersion>
<npmVersion>6.14.12</npmVersion>
</configuration>
</execution>
<execution>
<id>npm install husky