spark源码解析:1、源码下载与导入

本文详细介绍了如何下载并编译Spark 2.3.3版本的源码,包括环境搭建所需软件版本、源码下载、maven预编译配置及IDEA项目导入步骤。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

环境搭建

  • spark版本:2.3.3
  • jdk版本:1.8
  • maven版本:3.3.9
  • 开发工具:idea
  • scala版本:2.11.8

视频地址:https://www.bilibili.com/video/av72037856
欢迎点赞

1. 下载源码

下载与服务器上的spark版本相同的源码,地址:https://github.com/apache/spark
在这里插入图片描述

2. 解压后使用maven进行预编译

参考spark官网说明:http://spark.apache.org/docs/2.3.3/building-spark.html

1. 设置参与编译时maven的内存资源

根据自己的电脑设置一下内存

export MAVEN_OPTS="-Xmx4g -XX:ReservedCodeCacheSize=1024m"

2. 使用gitbash进行预编译

一定要使用gitbash进行预编译

-T指参与编译的线程数量

./build/mvn -T 6 -DskipTests clean package

根据电脑配置,编译的时间长短不同,反正时间肯定不会短是真的
编译成功

3. 使用IDEA导入源码

open -> 选中源码根目录的pox.xml文件-> 选择open as project进行导入

4. 刷新maven

在这里插入图片描述
到这里源码就已经导入成功了

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值