上一篇我们介绍了Zookeeper的编译,本篇我们将介绍HDP3.0.0版本栈中Kafka的编译。
关注公众号,获取最新内容

HBase编译
- 修改版本号
sed -i “s/2.0.0.3.0.0.0-SNAPSHOT/2.0.0.3.0.0.0-1634/g”grep 2.0.0.3.0.0.0-SNAPSHOT -rl ./ - 编译
mvn -DskipTests -Dhadoop-two.version=3.1.0.3.0.0.0-1634 -Dzookeeper.version=3.4.6.3.0.0.0-1634 install assembly:single

Spark编译
- 替换版本信息
sed -i “s/2.3.1.3.0.0.0-SNAPSHOT/2.3.1.3.0.0.0-1634/g”grep 2.3.1.3.0.0.0-SNAPSHOT -rl ./ - 编译
mvn -Drepo.maven.org=file:///home/zhangxiong/local/repo -Dhadoop.version=3.1.0.3.0.0.0-1634 -Dyarn.version=3.1.0.3.0.0.0-1634 -Dprotobuf.version=2.5.0 -DrecompileMode=all -Pyarn -Phive -Phive-thriftserver install -DskipTests

Tez编译
- 替换版本信息
sed -i “s/0.9.1.3.0.0.0-SNAPSHOT/0.9.1.3.0.0.0-1634/g”grep 0.9.1.3.0.0.0-SNAPSHOT -rl ./
2.编译
mvn install package -Dtar -Dhadoop.version=3.1.0.3.0.0.0-1634 -DskipTests

Hive编译
- 替换版本信息
sed -i “s/3.1.0-SNAPSHOT/3.1.0.3.0.0.0-1634/g”grep 3.1.0-SNAPSHOT -rl ./ - 编译
mvn -Dhbase.version=2.0.0.3.0.0.0-1634 -Dzookeeper.version=3.4.6.3.0.0.0-1634 -Drepo.maven.org=file:///home/zhangxiong/local/repo
-Dhadoop.security.version=3.1.0.3.0.0.0-1634
-DskipTests -Dhbase.version.with.hadoop.version=2.0.0.3.0.0.0-1634 -Dtez.version=0.9.1.3.0.0.0-1634 clean install

以上就是在HDP3.0.0栈中Tez,Hive,HBase,Spark的编译,下一篇我们将介绍Ambari的功能,使用。
本文详细介绍了HDP3.0.0版本栈中关键组件如Kafka、HBase、Spark和Hive的编译过程,包括版本号修改、依赖配置及编译命令,为开发者提供全面的参考。
1724

被折叠的 条评论
为什么被折叠?



