本文详细介绍如何在IDEA中设置Remote，实现对Spark任务的远程调试。通过具体步骤和命令展示，包括spark-submit参数配置，确保driver和executor内存分配，以及如何设置debug端口进行监听，最终实现在本地运行main方法进行debug。
1.在idea 新建Remote
2.spark任务提交
spark2-submit --master yarn --deploy-mode client --class com.my.base.TestDemo --driver-memory 4g --executor-memory 20g --executor-cores 2 --num-executors 10 --driver-java-options “-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=8787” ./RemoteDemo-jar-with-dependencies.jar
注意：端口号要一致，都是8787
会处于监听状态，如图所示：
3.debug方式运行本地main方法
idea远程调试spark任务
最新推荐文章于 2023-11-29 22:15:06 发布
扫一扫
639
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
