spark源码解析：1、源码下载与导入

环境搭建

• spark版本：2.3.3
• jdk版本：1.8
• maven版本：3.3.9
• 开发工具：idea
• scala版本：2.11.8

视频地址：https://www.bilibili.com/video/av72037856
欢迎点赞

1. 下载源码

下载与服务器上的spark版本相同的源码，地址：https://github.com/apache/spark

2. 解压后使用maven进行预编译

参考spark官网说明：http://spark.apache.org/docs/2.3.3/building-spark.html

1. 设置参与编译时maven的内存资源

根据自己的电脑设置一下内存

export MAVEN_OPTS="-Xmx4g -XX:ReservedCodeCacheSize=1024m"

2. 使用gitbash进行预编译

一定要使用gitbash进行预编译

-T指参与编译的线程数量

./build/mvn -T 6 -DskipTests clean package

根据电脑配置，编译的时间长短不同，反正时间肯定不会短是真的

3. 使用IDEA导入源码

open -> 选中源码根目录的pox.xml文件-> 选择open as project进行导入

4. 刷新maven

到这里源码就已经导入成功了