分析Spark源码第一步——搭建源码阅读环境

最新推荐文章于 2025-05-22 09:52:18 发布
最新推荐文章于 2025-05-22 09:52:18 发布
阅读量6.4k 收藏 26
点赞数 4
CC 4.0 BY-SA版权
分类专栏： 大数据 文章标签： spark源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_27667379/article/details/80251068
本文详细介绍了在Windows上搭建Spark源码阅读环境的步骤，包括安装必备工具（Java, Scala, Maven, Git, IntelliJ IDEA）, 下载Spark源码，配置Maven参数，使用Git Bash编译源码，安装并配置Scala插件，导入IDEA项目，解决运行实例时的依赖问题。通过这些步骤，成功创建了一个适合源码阅读的开发环境。" 105813903,8337373,算法设计与分析：数据结构基础,"['算法', '数据结构', '编程', '效率', '存储管理']

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

为了深入理解spark，想了解一下源码，故搭建了一下源码阅读环境。我是在windows环境下进行的。

step1:工具的获取

我安装的软件及版本如下，搭建之前请安装好这些：

(1)java1.8

(2)scala   安装可参考http://www.runoob.com/scala/scala-install.html

(3)maven 参考 https://www.yiibai.com/maven/maven_environment_setup.html#

(4)git 

(5)intellij idea

我安装的版本如下图所示：

step2:下载spark源码,http://spark.apache.org/downloads.html 选择source code，我选择的是spark2.3

最低0.47元/天 解锁文章

200万优质内容无限畅学
spark搭建源码阅读环境
斌躏天下的博客
04-19 733
如题： 怎样编译spark源码方便读呢？首先当然是先去官网或者github上下载spark源码包，这里附上官网地址spark-2.4.5下载 下载好spark源码包以后解压，然后编译一下导入IDEA就可以愉快的看源码了，怎样编译呢？ 这里以windows 10举例。 环境准备 首先要搭建好需要的环境，比如scala，maven和java，我的环境是1.8的java，2.11.11的scala以及3...
Spark学习系列——在虚拟机上搭建 Spark 集群的两种方法
热门推荐
u012604314的博客
06-07 1万+
一、概述        对于想学习 spark 集群搭建及应用的人来说，专门买多台物理主机往往成本太高，其实我们只需要利用虚拟机（我用的是 VMWare）搭建多台虚拟主机即可。在学习过程中，在网上搜了各种资料，参考了很多优秀的博客，发现在虚拟机上搭建 spark 集群主要有两种方法。第一种是充分利用 VMWare 的虚拟机克隆功能，只需要配置好一台主机，直接克隆生成其他主机并修改少量配置即可
Spark源码阅读环境搭建
专注于后端开发，时常接触大数据 、人工智能等
09-30 218
前言 对于Spark的应用，仅仅会使用期API来编程只能达到初级（助理）工程师或中级（熟练）工程师的水平，而学会调优则可以让你进阶为高级工程师。那么怎么才能成为顶尖的工程师呢？源码！ 如果你还要安装spark的话，scala的版本要根据spark指定的scala版本来安装。即先安装spark，再根据spark的提示，安装指定的scala版本。具体操作见： https://blog.csdn.n...
从 0 到 1：用 Trae 插件 Builder 模式开发端午包粽子小游戏
最新发布
05-22 17万+
Trae插件的Builder模式为开发者提供了一种高效的项目搭建方式，通过自然语言描述需求，能够快速生成项目框架和核心代码，减少重复性工作。本文以开发端午包粽子小游戏为例，展示了Trae插件的安装、使用及功能特点。通过自然语言描述，插件能够理解并生成项目结构、代码文件，并提供开发路线图建议。在实际开发中，虽然自然语言描述的精准度对生成结果有影响，但Trae插件在代码生成效率和项目搭建速度上表现出色，尤其适合中小项目和特定类型应用的快速开发。未来，插件在复杂大型项目的高度定制化开发方面仍有提升空间。
构建spark源码阅读环境
qq_36374805的博客
05-29 393
第一步：访问网站https://github.com/apache/spark下载spark.master，解压文件.第二步：进入spark.master 文件夹，搜索spark*.jar,如下图：第三步： 将搜到文件copy到新建文件夹spark_jars下，待用。第四步：下载安装ideal ，打开后，如下图操作,创建新工程第五步：点击Scala，右边选择sbt.(注，Scala可以在idea官...
spark 源码阅读环境
weixin_43887873的博客
03-22 240
windows + Intellij IDEA打造Spark源码阅读环境 1.Spark源码阅读环境的准备 Spark源码是有Scala语言写成的，目前，IDEA对Scala的支持要比eclipse要好，大多数人会选在在IDEA上完成Spark平台应用的开发。因此，Spark源码阅读的IDE理所当然的选择了IDEA。 本文介绍的是Windows下的各项配置方法（默认...
spark源码阅读
weixin_30603633的博客
02-25 143
根据spark2.2的编译顺序来确定源码阅读顺序，只阅读核心的基本部分。 1、common目录 ①Tags②Sketch③Networking④Shuffle Streaming Service⑤Unsafe 2、launcher目录 3、core目录 spark的编译顺序是： [INFO] Reactor Build Order:[INFO][INFO] Spark Proj...
（一）Spark本地开发环境搭建与远程debug设置
xiao的博客
08-23 5238
快速看完《Spark大数据处理 技术、应用与性能优化》前四章后，对Spark有了一个初步的了解，终于踏出了第一步，现在需要在Spark集群中做些测试例子，熟悉一下开发环境和开发的流程。本文主要总结了如何在本地使用Maven搭建开发环境以及如何进行远程debug。
Spark环境搭建
getsgock的博客
01-31 448
前言 因为公司项目有用到,整理了一下,特此记录 .网上教程几乎都是全家桶,上来就是安装Scala,Spark,Hadoop.不清楚为什么要安装,自己是否需要安装.又因为安装环境是学习的第一步,所以基本处于懵逼状态! Scala,Spark,Hadoop介绍 什么是spark?   Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP ...
Spark学习笔记——龟速更新。。
5akura's Blog
01-13 2594
文章目录Spark学习笔记第一章、基本认识与快速上手1.1、认识Spark1.2、对比Hadoop1.3、Spark组成基本介绍1.4、快速上手之WorldCount实现1.4.1、方式一（Scala类似集合操作实现）1.4.2、方式二(MR思维实现)1.4.3、方式三(Spark实现)第二章、环境搭建2.1、Local模式2.1.1、SparkShell命令行执行2.1.2、spark-sublime提交任务2.1.3、提交任务的参数说明2.2、Standalone模式2.2.1、配置改动与启动2.2.2
Spark 源码阅读(一)
向阳争渡
08-13 334
SparkContext初始化 Spark Application程序开始的第一步就是初始化SparkContext，而SparkContext的配置参数则由SparkConf负责，SparkConf就是你的操作面板。 SparkContext的初始化过程实际也是对Driver的初始化 ...
spark源码阅读笔记
11-16
spark源码阅读笔记 spark源码阅读笔记 spark源码阅读笔记 spark源码阅读笔记
spark源码阅读笔记(详)
05-16
spark源码阅读笔记(详)， the reading notes of Spark source code
SparkCore源码阅读
01-29
绝对原创，SparkCore源码阅读，适合新手
spark源码以及官方的示例（方便阅读源码学习）
07-08
搜集好了的spark源码以及官方案例，方便感兴趣的人阅读源码去学习。:-D，
spark源码阅读环境搭建
天龙八部
11-30 516
目录 1.环境介绍 2.源码编译 2.1编译成功的流程 3.编译中遇到的问题 3.1 在命令行直接执行编译命令 3.2 未知失败问题（重新执行后成功） 3.3编译成功后本地启动spark-shell 4.导入idear 5.执行测试案例遇到的问题和解决方法 5.1添加依赖 5.2 idear执行测试命令 1.环境介绍 用spark源码2.4.3为例 源码下载...
Apache Spark源码阅读环境搭建
终回首的博客
08-26 776
文章目录1 下载源码2 导入项目3 新建文件4 Debug JavaWordCount遇到的报错1 未设置Master2 模块编译输出路径冲突 版本 win7 jdk 1.8 maven 3.6.3 scala 2.11.8 1 下载源码 # 下载源码 git clone https://github.com/apache/spark.git # 切换到目标版本 git checkout v2.4.0 2 导入项目 #mermaid-svg-iY0oiuQsBRWr905j .label{font-fam
spark源码开发调试(idea环境)
Just a Benginner
07-15 356
源码项目调试 ​ 在源代码项目对源码修改后用idea直接进行调试工作 clone源码到本地并编译 ​ git clone git@github.com:apache/spark.git ​ ./build/mvn -DskipTests clean package idea导入工程 ​ ...
Spark 源码阅读学习（一）
Clockworkai's Blog
07-25 1799
写本文的目标就是立下 flag ：好好研读 Spark 源码，从 branch-0.7 这个分支开始。 如何通过阅读源码提高自己 大家都说要多读优秀开源框架的源码，那么怎么读呢？像 Apache Spark 在 GitHub 上有两万多个 commit，将源码导入 IDEA 之后好多好多源码文件，看着很绝望。 后来我去看知乎上的如何去阅读并学习一些优秀的开源框架的源码？，很多优秀的回...
构建Spark集群全攻略：从零开始到高手之路
本文档主要介绍了构建Spark集群的第一步——在Hadoop基础上搭建单机和伪分布式环境，以帮助对Spark感兴趣的读者克服入门障碍。作者王家林，作为Spark亚太研究院的院长和首席专家，以其丰富的经验撰写了一系列著作，...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值