在intellij idea利用sbt插件远程调试spark程序

最新推荐文章于 2025-01-26 09:45:32 发布

原创最新推荐文章于 2025-01-26 09:45:32 发布 · 1.6k 阅读

2 ·

CC 4.0 BY-SA版权

文章标签：

#spark #idea #sbt

spark 专栏收录该内容

3 篇文章

订阅专栏

本文介绍了如何在IntelliJ IDEA中通过SBT插件进行远程调试Spark程序。首先新建Scala对象，然后在SBT shell中进行clean和package操作，将jar包上传到Spark集群，最后在IDEA中配置远程调试选项，实现便捷的本地单步调试。

最近在用spark，写的spark代码必须在集群中才能执行，在调试时候，每修改一次代码都要submit到spark集群上，在调试的时候非常不方便。经过几天的搜索，发现可以将jar包放在集群上，但是可以在本地单步运行spark程序，只需要很少的设置就可以实现。

由于仅用作示例，我仅仅提供简单的scala代码，没有涉及到sparkcontext。但是步骤是一样的。

1、新建scala object demo.scala

object Demo{

  def main(args: Array[String]): Unit = {
    println("scala running")
    println("scala running 2")
    println("scala running 3")

  }
}

2、在idea 右侧sbt面板中打开sbt shell

3、输入 clean命令，清空所有缓存

4、打包。在sbt shell 中输入 package命令

5、在/project/target/scala-x.xx目录下找到已经打包的jar包，上传到spark集群上

6、在idea上设置远程调试

6.1 打开 idea 的Run -> Edit Configurations，点击左侧绿色加号，点击remote，新建远程调试

6.2 对remote调试进行一些设置。（1）给远程调试起名Name. ( 2 )添加前面jar包所在的主机host，端口port可以不用改，直接使用默认的5005即可。点击apply -> OK

6.4 在jar包所在远程主机上提交任务。我用的是cloudera 的spark 2.2.x，所以任务提交命令为spark2-submit。其他版本的任务提交根据实际所用版本选择是spark-submit 或者spark2-submit.

spark2-submit --master yarn --driver-java-options "-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=5005"  demo_2.11-1.0.jar

--master 的参数根据实际情况选择，--driver-java-options 的参数由remote配置界面生成，但是要注意suspend=n这个参数，在spark集群上改为suspend=y（具体为什么，我也不知道）

6.5 spark胡显示正在监听前面设置的端口，（这里是5005端口）

6.5 在idea中设置断点，spark集群主机就可单步调试了

spark主机上显示：

单击F8，

远程调试成功。