从源码编译Cloudera CDH 5.7.1的Spark2.1.1

最新推荐文章于 2025-06-24 17:39:58 发布

笛香幽谷

最新推荐文章于 2025-06-24 17:39:58 发布

阅读量1.2k

点赞数

本文介绍如何从源代码编译 Cloudera Spark，并针对特定版本的 Hadoop 进行配置。通过修改 make-distribution.sh 脚本及 pom.xml 文件，实现对依赖仓库的指定与组件的选择性编译。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考：https://rui.sh/build_cloudera_spark_from_source.html

$ ./make-distribution.sh -DskipTests \
-Dhadoop.version=2.6.0-cdh5.7.1 \
-Phadoop-2.6 \
-Pyarn \
-Psparkr \
-Phive \
-Pflume-provided \
-Phadoop-provided \
-Phbase-provided \
-Phive-provided \
-Pparquet-provided \
-Phive-thriftserver

我自己修改的内容：

$ dev/make-distribution.sh -DskipTests \
-Dhadoop.version=2.6.0-cdh5.7.1 \
-Phadoop-2.6 \
-Pyarn \
-Phive \
-Phive-thriftserver

pom.xml 文件中添加

<repositories>
   <repository>
     <id>cloudera</id>         <url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
     </repository>
  </repositories>