[Spark基础]--maven编译spark源码(spark-2.3.0)

最新推荐文章于 2025-05-29 15:32:34 发布
最新推荐文章于 2025-05-29 15:32:34 发布
阅读量3.5k 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： Apache Spark Maven 文章标签： spark maven
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/high2011/article/details/76651290
本文详细介绍了如何在Centos-6.8环境下，使用Scala-2.11.8和Jdk-1.8编译Spark-2.3.0-SNAPSHOT源码。通过Maven-3.3.9执行不同命令进行编译，并提供防止内存溢出的设置。编译完成后，可以引用编译后的Spark API到Maven项目中。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

如何编译从Github上下载的Spark源码，然后使用Spark的Api?

本文将先介绍编译Spark最新源码的步骤，供参考。


一、环境准备

Centos-6.8

Scala-2.11.8

Jdk-1.8

Spark-2.3.0-SNAPSHOT(git clone https://github.com/apache/spark.git)

Python-2.7.10

Maven-3.3.9


了解本专栏 订阅专栏 解锁全文 超级会员免费看
spark源码编译（maven）
记忆力不好的博客
05-16 1765
从Spark官网上下载编译好的安装包，并不一定能够满足需要，有时候希望通过阅读和调试Spark源码来深入理解其内部机制，这时候需要自己去手动编译Spark。 Spark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成分布式的部署包。SBT编译需要安装git工具，而Maven安装则需要maven工具准备：JDK，maven(或sbt)1. 源码下载：
使用maven编译spark源码
wl555wl的博客
12-19 599
自己编译spark是修改spark源码的必备条件，修改的源码自定义打包生效后才能发布到生产环境中。 现在详细介绍使用maven编译Spark-1.6.0的过程 1、下载Spark-1.6.0的源码 http://spark.apache.org/downloads.html 解压源码 cd  /opt/spark-1.6.0.tgz tar  -
spark-2.3.0
04-25
大数据spark,大数据大数据大数据大数据大数据大数据大数据大数据大数据
11.spark源码编译
最新发布
YaxiongJiang的博客
05-29 809
构建环境：jdk 11scala 2.12maven 3.9spark 3.5。
maven编译spark源码
u014033218的专栏
09-09 335
CentOS6.7-64bit编译hadoop2.6.4 1.下载maven（apache-maven-3.3.3-bin.tar.gz） http://archive.apache.org/dist/maven/maven-3/3.3.3/binaries/apache-maven-3.3.3-bin.tar.gz 2.安装maven tar -zxvf apache-maven-3.3.
spark2.3.0 without hive 编译
ghl0451的专栏
01-14 1697
搭建Hive on spark环境 -- Spark 编译 https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark:+Getting+Started 根据以上Hive 的Wiki得知Hive on spark环境需要Spark不包含Hive相关jar包。 Note that you must have a version ...
spark2.3.0 源码编译，一次成功。
bymain的博客
04-18 2233
1》基础环境准备： jdk1.8.0_101 maven 3.3.9 scala2.11.8 安装好上述软件，配置好环境变量，并检查是否生效。 note： 2》maven 3.3.9 ： 需要修改maven的安装目录下的conf/settings.xml文件中添加如下配置，以达到jar下载加速的效果 <!-- 阿里云中央仓库 --> <mi...
spark-2.3.1-bin-hadoop2.9-without-hive.tgz
02-22
在使用maven重新编译Spark 2.3.1源码时，你需要做的是： 1. **获取源码**：从Apache Spark的Git仓库克隆源代码到本地。 2. **配置环境**：确保你的环境中已经安装了Scala、Java、Maven以及所有必要的依赖。 3. **...
【spark源码修改】hive3.1.3 spark3.5.4编译，需要修改源码，最终编译成功
spark_dev的博客
01-11 1522
【spark源码修改】hive3.1.3 spark3.5.4编译，需要修改源码，最终编译成功,附带问题分析详细过程
HiveonSpark配置 Maven+spark编译+Hive配置
u014552259的博客
06-25 2080
一 实验说明 本实验主要完成Hvie on Spark的配置，主要内容包含maven配置、编译spark源码 spark配置 hive配置 二 配置步骤 一、maven配置 编译spark源码需要使用maven，我们先来配置一下maven环境。 第一步：下载maven安装包 编译spark建议使用maven3环境，下载连接为http://maven.apache.org/download.cgi，点击图中红框中的内容即可下载。 第二步、安装 下载完成后将maven安装包上传到Linux系统，我这里上传到了
Spark源码编译及使用
Dangerous的博客
08-17 9868
这一篇我们来把Spark环境搭建起来。我们使用编译源码的方式来生成Spark的安装包，为什么不直接用官方的安装包呢？因为我们在使用spark的时候会结合Hadoop来使用，有自己的需求，所以我们使用源码来编译。 首先去官网上来下载源码。 我们选择2.1.0版本。然后解压。spark源码使用maven构建的，所以在编译之前我们最好下载一个maven，maven版本至少在3.3.9至少，另外J...
spark-2.3.2源码
10-11
spark-2.3.2源码，包括所有spark相关代码及所有支持的语言的源码java,R,python。
centos7编译spark2.3v2生成安装包
05-22
centos7编译spark2.3v2生成安装包，需要hadoop、java8、maven环境
spark2官方示例源代码
08-27
spark的官方示例源代码，包括wordcount，操作数据库，访问parqurt，json文件等等
spark2.1.0.chm（spark java API）
04-20
spark 通过java操作的API详细说明，chm格式，可搜索自己想要的API，内部有详细的用法说明
spark编译源码过程
01-01
如果你只是想单纯的修改部分类的源码，并不需要网上教程的mvn  build等操作。通过我这个教程即可
修改spark源码并编译部署
每天get√新知识
04-03 4922
主要讲如何编译spark源码
spark2.3
andyyezhenzhen的博客
07-19 313
附件为spark安装包
spark2.3.2源码编译
LRachelChao的博客
02-08 529
升级jdk1.7到1.8 安装scala 2.12.8 添加CDH的地址添加到pom里面 修改maven的镜像库为maven安装目录/repo。 修改pom.xml里的<useZincServer>true</useZincServer>，将true改为false 编译 ./dev/make-distribution.sh --name 2.6.0-cdh5.7....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值