IEDA远程debug spark application

最新推荐文章于 2022-05-18 16:51:57 发布
最新推荐文章于 2022-05-18 16:51:57 发布
阅读量479 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： BIGDATA
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/rongyongfeikai2/article/details/53103483
1.spark-env.sh里的export SPARK_JAVA_OPTS="-Xdebug -Xrunjdwp:transport=dt_socket,server=y,suspend=y,address=9997"
2.启动spark application
3.IDEA里run->edit configuration，host和port填上spark所在机器的ip和port(9997)
4.就可以开始debug了
78-spark2.2的编译
九师兄
07-04 1001
编译问题：1 刚刚从网上下载一个spark-2.2.0.tgz,源代码 1。intellij安装scala plugin 2。使用intellij ieda open project功能打开源码文件夹 3。此后，idea会自动下载所有的依赖包，下载完后 build -> Make Project 即可编译！！ 然后 导入到IDEA中，直接build编译项目，报错 D:\spark-1
使用idea进行远程调试
weixin_45189615的博客
04-06 1887
工作中经常会遇到，代码在本地执行没有问题，部署到开发、测试环境后，却遇到各种各样的问题。在这个时候，远程调试就有了极大的优势。 首先，在jar包的启动命令中加上如下代码 //${debug_port}为socket监听端口，写为127.0.0.1:12567时，只能本地监听12567端口；写为12567时，允许远程监听12567端口 -Xdebug -Xrunjdwp:transport=dt_socket,address=${debug_port},suspend=n,server=y 在idea.
hive远程连接详细配置
11-20
hive远程连接的详细配置,包括远程mysql，远程存储metastore
大数据：Spark Standalone 集群调度（一）从远程调试开始说application创建
沧海一粟
03-09 5463
远程debug，特别是在集群方式时候，会很方便了解代码的运行方式，这也是码农比较喜欢的方式 虽然scala的语法和java不一样，但是scala是运行在JVM虚拟机上的，也就是scala最后编译成字节码运行在JVM上，那么远程调试方式就是JVM调试方式 在服务器端： -Xdebug -Xrunjdwp:server=y,transport=dt_socket,address=7001
使用Intellij IDEA开发并提交Spark应用到远程Spark集群
Camu7s的专栏
05-06 1万+
使用Intellij IDEA开发Spark应用，并提交到远程Spark集群执行通常我们写了一个spark程序，总是需要将程序打成jar包然后提交到集群执行，这样很麻烦，因此本文想说明通过像在eclipse中远程开发和执行Hadoop Job一样，使用Intellij IDEA开发Spark应用，并能够直接在IDE中提交作业到远程集群去执行，在console中看到输出结果或者各种错误原因。环境与工具
idea远程连接hive
红酒暖心不暖胃
02-09 7117
虽然网上介绍idea远程连接hive的方法挺多的，但是我还是整了一段时间才连接成功，在这边记录一下，方便他人，方便自己。首先看一下我通过xshell5远程连接hive的配置这是登陆时候的界面，可以看到我选择的是10.100.34.110这个服务器 第一种，使用SSH，在idea中Tools--StartSSH session--edit host --172.18.254.49    Port -...
windows系统下在idea中用spark访问远程hive
worldchinalee的博客
05-03 1万+
NO 步骤1安装配置jdk1.82安装配置scala2.11.183 写操作hive的demo4导入pom.xml中依赖jar5下载hadoop的binary包，我的版本是2.7.36下载winutils.exe将其放到$HADOOP_HOME/bin/目录下7在启动类的运行参数中设置环境变量，HADOOP_HOME=D:\software1\hadoop-2.7.3，=后面是hadoop的安装目...
在IDEA中调试运行Spark SQL
美伊小公主的超级奶爸的专栏
08-04 7539
昨晚想通过调试的方式阅读一下Spark SQL的源码， 用spark-sql命令行需要跨进程调试，太麻烦，于是尝试了一下在IDEA中运行和调试. 结果不出所料，虽然最终可以在IDEA中成功运行了，不过中间还是遇到了不少问题，在这篇文章中总结一下. 应用程序比较简单: case class Person(name: String, value: String) object SparkS
使用IDEA Database Tool连接Hive数据库
我家有个艳的博客
08-28 2万+
问题： IDEA 是现在很流行的开发工具，其功能很强大，其自带一个数据库连接工具，该工具可以连接mysql，oracle等常用数据库，那么问题来了，我能不能用这个工具连接hive数据库了 经过我的不断尝试，终于可以连接查询hive了！解决办法： 步骤如下图： 1.如果idea中最右侧你没有看到database这个选项卡那么请按照下图将其显示出来 2.因为IDEA没有内置hive的驱动，所以
Spark基础随笔：Spark1.6 Idea下远程调试的2种方法
Javis486的专栏
09-05 8623
关于Sc   1.导入依赖的包和源码
利用idea对spark程序进行远程提交和调试
yiluohan0307的专栏
04-23 1万+
利用idea对spark程序进行远程提交和调试
IEDA的程序调试debug
weixin_34254823的博客
04-27 212
以前只是浅层面的使用dubug来查看程序运行顺序，排查一些异常的原因， 今天由于要学习一些源码，所以系统的记录一下（借鉴网上资料总结而来） 主要涉及到的功能区为如下： 　　A:：重启项目快捷键 Ctrl + F5 　　B：恢复程序　快捷键F9 ,上一个断点跳到下一个断点，没有下一个断点，直接运行到程序结束 　　C：暂停，没怎么用过 　　D：停止当前运行的项目快捷键Ctrl ...
idea实现远程调试
LC的博客
05-18 4214
1.项目开启远程调试 在-jar 后面配置 -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=8327 （8327是远程调试的端口号，注意不要和项目端口号冲突） nohup java -jar -agentlib:jdwp=transport=dt_socket,server=y,suspend=n,address=8327 newsell-0.0.1-SNAPSHOT.jar >/dev/null 2>&
idea远程调试 spark
哎幽的成长
12-25 9570
spark 远端调试本地调试远端集群运行的spark项目，当spark项目在集群上报错，但是本地又查不出问题时，最好的方式就是调试一步一步跟踪代码。但是在集群上的代码又不能像本地一样的调试。那么就试试这个调试方法吧。远程调试spark其实就四步： * 第一步jar包拷贝到集群master节点。 * 第二步在 idea 中配置远程机器的IP 和调试端口号。 * 第三步：启动远端的spark项目。
修改IDEA运行内存，加快运行速度
热门推荐
苏暮沉觞的博客
11-23 6万+
IDEA相较于eclipse，占用的内存会大很多，有时候打开程序或者运行项目速度会很慢。为了解决这个问题我们可以通过修改相关的配置文件来加速运行速度。 具体步骤： 1、进入软件的bin目录，右键IDEA图标，选择属性，在属性界面打开文件所在位置（或者自己查找对应目录）： 属性界面 bin目录 2、查看自己的操作系统，因为我是64的，所以使用的是idea64.exe的启动项。ID...
Apache Flink 各类关键数据格式读取/SQL支持
卧龙居
11-02 2万+
目前事件归并分为两种，一种为实时的归并，即基于Kafka内的数据进行归并和事件生成；一种是周期性的归并，即基于Hive中的数据进行数据的归并和事件生成。 基于SQL归并时Spark Streaming支持的输入/输出数据如下： 数据类型 Flink支持情况 Kafka 需要定义schema HDFS(parquet/csv/textfile)...
Apache Flink CEP学习总结
卧龙居
11-02 2万+
1. 简介 Apache Flink是一个计算框架，地位和Spark差不多。里面的API也有与Spark类似的，例如FlinkKafkaConsumer010对应着Spark里的读取Kafka形成流的API，DataStream对应着Spark里的DStream，也有一系列的transform API例如map/fliter等等。 在yarn上提交任务的方式也十分简洁： 请注意，它的ya...
kafka topic手动删除及其他相关
卧龙居
11-20 1万+
1.手动删除kafka topic 运行./kafka-topic --zookeeper zk1:2181,zk2:2181 --topic topic_name --delete 如果topic没能成功被删除（比如broker挂掉等） 可以用以下方式手动清理 (当然，也可以重启zk和broker；这样当broker正确注册上zk试，被mark delete的topic会被自动清
kafka offset判断
卧龙居
02-24 1万+
在使用Spark streaming读取kafka数据时，为了避免数据丢失，我们会在zookeeper中保存kafka的topic对应的partition的offset信息（每次执行成功后，才更新zk中的offset信息）；从而保证执行失败的下一轮，可以从特定的offset开始读。 实现方式类似下面文章所示： http://blog.youkuaiyun.com/rongyongfeikai2/artic
IEDA运行spark项目流程
最新发布
11-30
以下是在IDEA中运行Spark项目的流程： 1.下载并安装Java和Scala，配置环境变量。 2.下载并安装Hadoop和Spark，配置环境变量。 3.在IDEA中创建一个新的Scala项目。 4.在项目中添加Spark依赖，可以通过在build.sbt文件中添加以下代码来实现： ```scala libraryDependencies += "org.apache.spark" %% "spark-core" % "2.4.5" ``` 5.在项目中创建一个SparkSession对象，可以通过以下代码来实现： ```scala import org.apache.spark.sql.SparkSession val spark = SparkSession.builder() .appName("MySparkApp") .master("local[*]") .getOrCreate() ``` 6.编写Spark程序并运行。 7.在IDEA中配置运行参数，可以通过以下步骤来实现： a.点击菜单栏中的“Run”->“Edit Configurations”。 b.在弹出的窗口中选择“Application”。 c.在“Main class”中输入你的Spark程序的入口类。 d.在“Program arguments”中输入你的Spark程序需要的参数。 e.点击“OK”保存配置。 8.运行Spark程序，可以通过点击IDEA中的“Run”按钮来运行你的Spark程序。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值