IEDA远程debug spark application

最新推荐文章于 2023-10-12 13:53:59 发布
最新推荐文章于 2023-10-12 13:53:59 发布
阅读量481 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： BIGDATA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/rongyongfeikai2/article/details/53103483
本文介绍如何配置Spark以便使用IDEA进行远程调试。通过设置spark-env.sh中的JAVA_OPTS参数，并在IDEA中配置相应的主机和端口，可以实现对Spark应用程序的有效调试。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1.spark-env.sh里的export SPARK_JAVA_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=9997"
2.启动spark application
3.IDEA里run->edit configuration，host和port填上spark所在机器的ip和port(9997)
4.就可以开始debug了
使用 IDEA 远程 Debug 调试
Jack章臣的博客
12-17 363
好像感觉远程调试的用处也不是那么大，不能作为长期使用的调试工具。只能作为临时调试的手段。难点有几个：1.难保证本地代码和远程一致，而且你也很难判断是否一致。2.通过远程调试发现了bug，但是又不能立即修复后继续调试，只能修复后部署后继续远程调试。
解决方法·远程debug代码+跳板机
修行者Gavin的博客
04-24 1463
背景 debug是比较高效，并且常见的一种解决代码故障的方法（真实情况其实是。。通过日志看不出来，，才无奈选择） 这次分两级介绍远程debug的方法（其实第二级才是我主要想记录的东西。。毕竟第一级，，终究是第一级）： 一级别就是debug一台可以从本地直连的服务器； 二级是说一下如何debug一台本地需要通过跳板机才能连接的服务器； ps:这里用的是IDEA进行debug代码 远程debug方法 首先，你代码得写得能运行，这是最基础的。。 假设你已经把代码放到了服务器了；并且能正常启动了 d
hive远程连接详细配置
11-20
hive远程连接的详细配置,包括远程mysql，远程存储metastore
大数据：Spark Standalone 集群调度（一）从远程调试开始说application创建
沧海一粟
03-09 5492
远程debug，特别是在集群方式时候，会很方便了解代码的运行方式，这也是码农比较喜欢的方式 虽然scala的语法和java不一样，但是scala是运行在JVM虚拟机上的，也就是scala最后编译成字节码运行在JVM上，那么远程调试方式就是JVM调试方式 在服务器端： -Xdebug -Xrunjdwp:server=y,transport=dt_socket,address=7001
使用Intellij IDEA开发并提交Spark应用到远程Spark集群
Camu7s的专栏
05-06 1万+
使用Intellij IDEA开发Spark应用，并提交到远程Spark集群执行通常我们写了一个spark程序，总是需要将程序打成jar包然后提交到集群执行，这样很麻烦，因此本文想说明通过像在eclipse中远程开发和执行Hadoop Job一样，使用Intellij IDEA开发Spark应用，并能够直接在IDE中提交作业到远程集群去执行，在console中看到输出结果或者各种错误原因。环境与工具
idea远程连接hive
红酒暖心不暖胃
02-09 7135
虽然网上介绍idea远程连接hive的方法挺多的，但是我还是整了一段时间才连接成功，在这边记录一下，方便他人，方便自己。首先看一下我通过xshell5远程连接hive的配置这是登陆时候的界面，可以看到我选择的是10.100.34.110这个服务器 第一种，使用SSH，在idea中Tools--StartSSH session--edit host --172.18.254.49    Port -...
windows系统下在idea中用spark访问远程hive
worldchinalee的博客
05-03 1万+
NO 步骤1安装配置jdk1.82安装配置scala2.11.183 写操作hive的demo4导入pom.xml中依赖jar5下载hadoop的binary包，我的版本是2.7.36下载winutils.exe将其放到$HADOOP_HOME/bin/目录下7在启动类的运行参数中设置环境变量，HADOOP_HOME=D:\software1\hadoop-2.7.3，=后面是hadoop的安装目...
IDEA实现远程Debug调试
whatareyouding的专栏
10-12 988
版权声明：本文为优快云博主「雨会停rain」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。suspend：是否等待启动，也即设置是否在debuger调试链接建立后才启动debugee JVM。据说因为jdk9变得安全了，远程调试只允许本地，如果要远程，则需要在端口前配置*address：debugee的地址，用于debuger建立调试链接。一>填写Name一>选择jdk1.8一>选择Web一>创建。server：是否监听debuger的调试请求。(2)、配置Idea。
ieda 远程调试hive_如何在IntelliJ IDEA配置Hive 3.1的调试环境
weixin_39531582的博客
12-22 230
Prepareplease install JDK-1.8, Hadoop3.1 and get Hive-3.1 source code firstJDKJDK-version=1.8export JAVA_HOME=/path/to/jdk/homeHadoophadoop-version=3.1export HADOOP_HOME=/path/to/hadoop/homeHive Sourc...
IEDA运行spark项目流程
最新发布
11-30
在弹出的窗口中选择“Application”。 c.在“Main class”中输入你的Spark程序的入口类。 d.在“Program arguments”中输入你的Spark程序需要的参数。 e.点击“OK”保存配置。 8.运行Spark程序，可以通过...
使用IDEA Database Tool连接Hive数据库
我家有个艳的博客
08-28 2万+
问题： IDEA 是现在很流行的开发工具，其功能很强大，其自带一个数据库连接工具，该工具可以连接mysql，oracle等常用数据库，那么问题来了，我能不能用这个工具连接hive数据库了 经过我的不断尝试，终于可以连接查询hive了！解决办法： 步骤如下图： 1.如果idea中最右侧你没有看到database这个选项卡那么请按照下图将其显示出来 2.因为IDEA没有内置hive的驱动，所以
使用idea进行远程调试
weixin_45189615的博客
04-06 1895
工作中经常会遇到，代码在本地执行没有问题，部署到开发、测试环境后，却遇到各种各样的问题。在这个时候，远程调试就有了极大的优势。 首先，在jar包的启动命令中加上如下代码 //${debug_port}为socket监听端口，写为127.0.0.1:12567时，只能本地监听12567端口；写为12567时，允许远程监听12567端口 -Xdebug -Xrunjdwp:transport=dt_socket,address=${debug_port},suspend=n,server=y 在idea.
Spark基础随笔：Spark1.6 Idea下远程调试的2种方法
Javis486的专栏
09-05 8643
关于Sc   1.导入依赖的包和源码
IEDA的程序调试debug
weixin_34254823的博客
04-27 215
以前只是浅层面的使用dubug来查看程序运行顺序，排查一些异常的原因， 今天由于要学习一些源码，所以系统的记录一下（借鉴网上资料总结而来） 主要涉及到的功能区为如下： 　　A:：重启项目快捷键 Ctrl + F5 　　B：恢复程序　快捷键F9 ,上一个断点跳到下一个断点，没有下一个断点，直接运行到程序结束 　　C：暂停，没怎么用过 　　D：停止当前运行的项目快捷键Ctrl ...
利用idea对spark程序进行远程提交和调试
yiluohan0307的专栏
04-23 1万+
利用idea对spark程序进行远程提交和调试
idea实现远程调试
LC的博客
05-18 4221
1.项目开启远程调试 在-jar 后面配置 -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=8327 （8327是远程调试的端口号，注意不要和项目端口号冲突） nohup java -jar -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=8327 newsell-0.0.1-SNAPSHOT.jar >/dev/null 2>&
idea远程调试 spark
哎幽的成长
12-25 9597
spark 远端调试本地调试远端集群运行的spark项目，当spark项目在集群上报错，但是本地又查不出问题时，最好的方式就是调试一步一步跟踪代码。但是在集群上的代码又不能像本地一样的调试。那么就试试这个调试方法吧。远程调试spark其实就四步： * 第一步jar包拷贝到集群master节点。 * 第二步在 idea 中配置远程机器的IP 和调试端口号。 * 第三步：启动远端的spark项目。
修改IDEA运行内存，加快运行速度
热门推荐
苏暮沉觞的博客
11-23 6万+
IDEA相较于eclipse，占用的内存会大很多，有时候打开程序或者运行项目速度会很慢。为了解决这个问题我们可以通过修改相关的配置文件来加速运行速度。 具体步骤： 1、进入软件的bin目录，右键IDEA图标，选择属性，在属性界面打开文件所在位置（或者自己查找对应目录）： 属性界面 bin目录 2、查看自己的操作系统，因为我是64的，所以使用的是idea64.exe的启动项。ID...
Apache Flink 各类关键数据格式读取/SQL支持
卧龙居
11-02 2万+
目前事件归并分为两种，一种为实时的归并，即基于Kafka内的数据进行归并和事件生成；一种是周期性的归并，即基于Hive中的数据进行数据的归并和事件生成。 基于SQL归并时Spark Streaming支持的输入/输出数据如下： 数据类型 Flink支持情况 Kafka 需要定义schema HDFS(parquet/csv/textfile)...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值