spark源码开发调试(idea环境)

源码项目调试

​ 在源代码项目对源码修改后用idea直接进行调试工作

clone源码到本地并编译

​ git clone git@github.com:apache/spark.git

​ ./build/mvn -DskipTests clean package

idea导入工程

​ File -> Open -> {spark dir}/pom.xml -> Open as Project

​ 过程中会出现sbt project detect，忽略这个，我们使用maven组织工程，导入完成后项目目录如下：

运行example程序

​ 下面尝试运行SparkSQLExample：

​ 编辑 run configure如下：

​ -Dspark.master=local 使用local模式运行

​ 运行之前需要做一件很重要的事情，将example的依赖全部由provided改为compile，将这些包全部打入工程中才能正常运行(也可以更改example的pom文件，但是不是很全，还会缺一些库)

​ 完成这些工作后，直接就可以run了。调试也非常简单，直接加断点debug就好

​