spark源码编译

最新推荐文章于 2025-05-29 15:32:34 发布

qq_26369213

最新推荐文章于 2025-05-29 15:32:34 发布

阅读量191

点赞数

CC 4.0 BY-SA版权

分类专栏： spark

本文链接：https://blog.youkuaiyun.com/qq_26369213/article/details/79672894

spark 专栏收录该内容

8 篇文章

订阅专栏

本文介绍如何使用源码编译Spark 2.2.0版本，并针对CDH Hadoop环境进行配置。文章详细解释了如何修改pom.xml文件以加入Cloudera仓库，确保正确获取依赖。此外还提供了必要的编译命令及其参数说明。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

参考网址：http://spark.apache.org/docs/latest/building-spark.html

由于spark对hadoop版本有一定的依赖，所以建议使用源码来编译，本次编译的版本为：spark2.2。0
由于这次编译需要CDH的HADOOP依赖，解压spark的源码包，编辑pom.xml文件，在repositories节点加入如下配置：
<repository>
<id>cloudera</id>
<url>https://repository.cloudera.com/artifactory/cloudera-repos/</url>
</repository>

准备：Maven 3.3.9、Java 8+。注意，从2.2.0开始，spark已经移除了java 7

编译命令：mvn -Pyarn -Phive -Phive-thriftserver -Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.7.0 -DskipTests clean package

简单说说参数代表的意思
-Pyarn:表示需要将spark作业提交至yarn
-Phadoop-2.6 -Dhadoop.version=2.6.0-cdh5.7.0：这里是指定了hadoop的版本
-Phive -Phive-thriftserver：需要支持hive的jcbc
（如果需要其他参数，可以参考官网）