Spark源码环境搭建

最新推荐文章于 2023-06-05 09:46:18 发布
最新推荐文章于 2023-06-05 09:46:18 发布
阅读量284 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： spark 大数据 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/chlhyj/article/details/79032090
本文介绍如何安装Scala、git、maven等开发工具，并使用IntelliJ IDEA导入Apache Spark 1.6.0的源代码进行编译与运行。文章详细说明了从GitHub获取源代码、配置编译参数以提高编译速度的过程，以及解决依赖问题的方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

提前安装一些开发工具
  • Scala 2.10.4
  • git 2.8.1
  • maven 3.3.9
  • IntelliJ IDEA 2015.02
源代码获取和编译

直接从官方的github上拉取代码
$ git clone git@github.com:apache/spark.git

$ git checkout v1.6.0

$ git checkout -b v160

编译源码

参考官方文档，我们这里使用4个线程，跳过tests，以便加快编译速度

$ build/mvn -T 4 -DskipTests clean package

这里写图片描述

$ spark-shell 测试一下

这里写图片描述

源码导入和代码运行

这里写图片描述

找到 example 中的 LocalPi.scala例子

这里写图片描述

在菜单栏点击Run -> Edit Configuration - 点击+ -> Application 配置如下

这里写图片描述

然后运行程序，程序会报错

然后运行程序，程序会报错

这里的报错是缺少依赖包，解决方法如下：

在菜单栏点击File -> Project Structure -> Modules -> 选择 spark-examples_2.11 -> Dependencies -> 点击+ -> 选择jars or directories

这里写图片描述

再次运行程序的时候可以看到正常输出

这里写图片描述

spark core源码阅读-环境准备(一)
吃货先生的博客
02-06 2152
spark源码阅读-环境准备(一) 基于1.6.0版本结合源码理解spark on yarn 环境准备 下载代码: https://github.com/juntaozhang/spark/tree/my.v1.6.0 git clone https://github.com/juntaozhang/spark.git git checkout my.v1.6.0 mv
Spark环境搭建教程
xgb2018的博客
03-27 4431
Spark环境搭建 Spark Local本地模式 Standalone-独立集群 Standalone-HA Spark-On-Yarn Spark 是一种基于内存的快速、通用、可扩展的大数据分析计算引擎
Spark源码阅读之环境配置（Windows）
GitChat
05-07 219
在进行一段时间的Spark的使用之后，越来越觉得Spark框架十分优秀，也觉得Spark可以在未来很长的一段时间内会得到广泛的使用，包括大数据处理和机器学习领域。想要进一步的学习Spark，阅读源码是必不可少的，本文主要介绍如何在Windows平台下搭建Spark源码阅读环境。...
Spark源码编译与本地调试环境搭建
Answer1331的博客
07-22 2201
Spark的1.X和2.X版本源码编译与本地阅读调试环境搭建。前置工作： - JDK 安装和环境变量的配置 - Scala 安装和环境变量配置 - Maven 安装和环境变量配置 - Git 客户端安装和 SSH 配置 源码编译完成，进行简单配置，我们就可以开始阅读和调试源码了。首先找到 examples 模块中的JavaWordCount.java。1. 根据源码可以看出，这个例子接收一个外部参数 args[0]，即需要统计的文件名。
spark源码阅读环境搭建
天龙八部
11-30 514
目录 1.环境介绍 2.源码编译 2.1编译成功的流程 3.编译中遇到的问题 3.1 在命令行直接执行编译命令 3.2 未知失败问题（重新执行后成功） 3.3编译成功后本地启动spark-shell 4.导入idear 5.执行测试案例遇到的问题和解决方法 5.1添加依赖 5.2 idear执行测试命令 1.环境介绍 用spark源码2.4.3为例 源码下载...
Spark源码编译与部署
RainTicking的博客
06-05 604
Spark源码编译与部署
Spark源码阅读环境搭建详解
11-09
### Spark源码阅读环境搭建详解 #### 一、引言 随着大数据技术的快速发展，Apache Spark作为一款重要的分布式计算框架，被广泛应用于数据处理、机器学习等领域。深入了解Spark的内部工作机制，不仅能够帮助开发者...
Spark 3.3源码 IDEA阅读环境搭建
u014034497的专栏
10-07 345
这样下载依赖快，且完整，保证依赖全部下载完成。这里webui地址便是 上面master的地址。（1）初始化为git仓库。（2）执行生成文件命令。（3）检查文件是否生成。（0）进入源代码目录。
搭建Spark开发环境
weixin_64272885的博客
05-18 1645
由于Spark仅仅是一种计算框架，不负责数据的存储和管理，因此，通常都会将Spark和Hadoop进行统一部署，由Hadoop中的、HBase等组件负责数据的存储管理，Spark负责数据计算。安装Spark集群前，需要安装Hadoop环境。
Apache Spark源码阅读环境搭建
终回首的博客
08-26 771
文章目录1 下载源码2 导入项目3 新建文件4 Debug JavaWordCount遇到的报错1 未设置Master2 模块编译输出路径冲突 版本 win7 jdk 1.8 maven 3.6.3 scala 2.11.8 1 下载源码 # 下载源码 git clone https://github.com/apache/spark.git # 切换到目标版本 git checkout v2.4.0 2 导入项目 #mermaid-svg-iY0oiuQsBRWr905j .label{font-fam
Spark源码阅读01：环境搭建
weixin_43851569的博客
08-29 296
源码阅读环境搭建 我这周都在抽时间尝试把Spark源码编译成功。刚开始我选择的版本是 2.3+ 发现怎么都编译不成功。遇到的一个问题是 scala-maven-plugin compile failed, 查版本号，修改版本后尝试未果。选早一点的版本的想法是说，阅读源码可能会少一些，毕竟版本越高，代码越庞大和复杂。 但是早期的版本已经是过去式了，依赖的其他包库也会修改和引入新的特性，编译失败卡的时间太久了，不值得投入，遂直接拥抱 Spark 3.0 编译源码 去 github 上克隆一份代码，切换到你想看的
Windows下搭建Spark源码阅读与调试环境
学习，我们是认真的
06-12 4953
了解和使用Spark有一段时间了，但是对Spark的一些原理和内部机制了解的不够深入，故打算研读一下Spark源码。今天首先介绍一下Spark源码阅读与调试环境的搭建。开发工具安装首先是一些必要的工具的安装，这里不一一介绍了，请读者自行提前安装好：（以下工具版本可自行选择，但是要符合Spark版本环境安装要求，可以参考官方文档） - Java1.8 - Scala 2.11.11 - M
Spark的学习1-编译
Fisher小屋
10-13 399
这两天开始学Spark, 因此把相应的步骤记录下来. 下载最新的Spark代码,使用maven进行编译在win8(64位）上进行编译： （参考https://spark.apache.org/docs/latest/building-with-maven.html) 现在Spark主要以Standalone方式或Spark on yarn方式运行，因此在使用maven构建时，使用以下...
checkStyle 代码有警告怎么办
那个谁的空间
05-09 2015
编程的初期可以把checkStyle、findBugs这些都disable掉。因为检查代码都是后期的工作，首先要让程序能够跑起来，然后再考虑效率问题，最后才考虑代码格式等次重要的东西。 一般来说checkStyle的警告都是可以不予理睬的，比如说name hides a field、magic number，对你编程没有影响。但是对开发软件产品来说，这个是最后必须要消除的。因为这将影响你写的代
Scalastyle屏蔽检查的方法
E的小小地方
11-14 2213
你如果想要关闭一段代码的检查，那么，你就可以再这段代码的前面或者后面加上注释，如下格式： // scalastyle:off ... // naughty stuff ... // scalastyle:on 你可以使用行结尾处的注释关闭对单行的检查： naughty() // scalastyle:ignore 还可以通过指定要忽略的规则的ID来关闭检查：
maven编译spark1.2 on hadoop-2.6.0
weipanp的专栏
03-09 1335
1、安装maven (1)设置MAVEN_HOME （2）将$MAVEN_HOME/bin参加PATH变量。 （3）设置maven_opts内存参数 export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m" 若不运行，编译时必定出现如下错误，因为spark编译需要很大的内存
apache spark源码阅读环境搭建
03-16
要搭建Apache Spark源码阅读环境，需要以下步骤： 1. 安装Java开发环境：首先需要安装Java开发环境，建议使用JDK 8或以上版本。 2. 下载Spark源码：从官网下载Spark源码，解压到本地目录。 3. 安装Scala：Spark...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值