Spark源码编译

最新推荐文章于 2019-08-03 11:18:03 发布

原创

最新推荐文章于 2019-08-03 11:18:03 发布 · 219 阅读

CC 4.0 BY-SA版权

文章标签：

本文详细介绍了如何编译Spark源码，包括下载源码、解压、修改配置文件以加速编译，并解决了编译过程中可能出现的网络问题，帮助技术人员更好地理解与定制Spark框架。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

对于学习Spark框架的技术人员，学习到一定的程序，有些原来的东西已经不能满足我们的要求，修改源码是我们的必经之路。
一、下载源码

     wget https://archive.apache.org/dist/spark/spark-2.4.0/spark-2.4.0.tgz

二、解压

	tar -xvf spark-2.4.0.tgz -C 当前目录

三、编译

3.1 编译的准备，修改make-distribution.sh，是为了加快编译速度。如图所示，蓝色部分的内容十分消耗性能，这里注释掉它。在下面添加相关的版本信息！

VERSION=2.4.0  # spark 版本
SCALA_VERSION=2.11 # scala版本
SPARK_HADOOP_VERSION=2.6.0-cdh5.7.0 #对应的hadoop版本
SPARK_HIVE=1 # 支持的hive

在这里插入图片描述

3.2 修改Maven配置文件,改为阿里云的镜像，会比较快！！！

在这里插入图片描述

坑一
在这里插入图片描述
这个应该是网络不好造成的，连接超时！！！！！重复几次就好了！！

200万优质内容无限畅学