spark源码开发调试(idea环境)

本文详细介绍了如何在IntelliJ IDEA中配置并调试Apache Spark源码项目。包括克隆源码、编译、导入IDEA及调整依赖设置等步骤,并演示了如何运行Spark SQL Example示例程序。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

源码项目调试

​ 在源代码项目对源码修改后用idea直接进行调试工作

clone源码到本地并编译

git clone git@github.com:apache/spark.git

./build/mvn -DskipTests clean package

idea导入工程

File -> Open -> {spark dir}/pom.xml -> Open as Project

​ 过程中会出现sbt project detect,忽略这个,我们使用maven组织工程,导入完成后项目目录如下:

12795149-52e5dac9392a6583.jpg
屏幕快照 2018-07-15 下午12.37.43
运行example程序

​ 下面尝试运行SparkSQLExample:

12795149-71ceb7370d5f6899.jpg
屏幕快照 2018-07-15 下午1.00.29

​ 编辑 run configure如下:


12795149-80f7f91dd3814c0a.jpg
屏幕快照 2018-07-15 下午1.14.11

​ -Dspark.master=local 使用local模式运行

​ 运行之前需要做一件很重要的事情,将example的依赖全部由provided改为compile,将这些包全部打入工程中才能正常运行(也可以更改example的pom文件,但是不是很全,还会缺一些库)

12795149-97372a1c2b1aa516.jpg
屏幕快照 2018-07-15 下午3.52.30

​ 完成这些工作后,直接就可以run了。调试也非常简单,直接加断点debug就好

12795149-949f0a0e102ccf1e.jpg
屏幕快照 2018-07-15 下午1.49.31

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值