spark streaming 远程debug

最新推荐文章于 2024-02-17 19:11:27 发布
最新推荐文章于 2024-02-17 19:11:27 发布
阅读量489 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/mamls/article/details/78690747
本文介绍如何通过配置 Spark 的 driver 选项实现远程调试。利用 Java 的 JDWP 工具，开发者可以指定监听端口及调试模式，方便进行 Spark 应用程序的问题排查。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

--conf "spark.driver.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=9999"
[Spark版本更新]--Spark-2.4.0 发布说明
欢迎来到我的博客，一起探索代码里的世界！
11-09 6920
2018-11-02 Apache Spark 官方发布了 2.4.0版本，以下是 Release Notes，供参考：  Sub-task [ SPARK-6236 ] - 支持大于2G的缓存块 [ SPARK-6237 ] - 支持上传块> 2GB作为流 [ SPARK-10884 ] - 支持针对回归和分类相关模型的单实例预测 [ SPARK-11239 ] - 用于ML线性...
[Spark版本更新]--2.3.0发行说明
热门推荐
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
Spark local/standalone/yarn/远程调试-运行WordCount
Nougats的博客
06-11 1605
local直接启动spark-shell./spark-shell --master local[*]编写scala代码sc.textFile("/input/file01.txt") res0.cache() res0.count val wd=res0.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_) wd.collect.foreach(pr
Spark Streaming job 远程debug方法
xueba207的专栏
02-23 2781
记录下spark job的运程调试方法。
Spark远程调试IDE调试
拱头的专栏
03-22 2119
1、JVM里面设置以下参数（在spark-env.sh中添加系统变量SPARK_JAVA_OPTS） export SPARK_JAVA_OPTS=" -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8888" 这里对上面的几个参数进行说明： -agen
spark streaming 调试技巧
学无止境
04-29 9477
spark streaming 如果以local 模式运行，log日志非常清楚。 如果log 日志是运行在yarn 模式下，driver 的日志可以通过reource manager 日志看到。但是executor的日志却看不到，我们往往错误都发生在executor里，比如典型的错误：如果我们连接hbase去存取数据的话，我们会在driver里初始化了连接，缺忽略的excutors里，导致程序出错
<Spark Streaming><本地调试>
weixin_30433075的博客
05-20 211
写在前面 因为本地电脑没装flume，nginx各种。所以之前写Streaming程序的时候，都是打包了放到集群上跑。就算我在程序代码里不停地logger，调试起来也hin不方便。 于是本地写了两个程序，在intellj调试。 主要就是包括两个程序： 一个是GenerateChar.scala用来向某个指定端口，使用socket发消息； 另一个就是要测试的Streaming程序了...
在idea上用SparkStreaming实现从远程socket读取数据并完成Wordcount
jiaotongqu6470的博客
11-09 1158
首先，准备环境 在本机（win7）上安装好idea（自行解决） 我的远端就是一台Centos版本的Linux，主机名叫master。 在这个远端上装好 nc(“脑残”)[root@Master ~]# nc -lk 8888bash: nc: command not found出现这个说明我的nc并没有安装，那么我装一下（首先得配好网络yum源，），执行下面的命令[root@Master ~
SparkStreaming消费Kafka无法消费持续阻塞（无异常信息）
wunanliu的采坑日记
04-28 2875
产生背景：由于工作需要，目前现有查询业务，其他厂商数据库无法支持，高效率的查询响应速度，于是和数据总线对接，实现接入数据，自己进行数据结构化处理。 技术选型：SparkStreaming和Kafka和ElasticSearch 本人集群：SparkStreaming 版本2.3，Kafka的Scala版本2.11-Kafka版本0.10.0.0 （Kafka_2.11-0.10.0.0.jar） 消息总线集群：Kafka总线版本，Kafka_2.10-0.10.2.1.jar 由上述可...
【spark】【在YARN上运行Spark】【Running Spark on YARN】
最新发布
wq6qeg88的博客
02-17 1192
通常情况下，这并不重要，因为Spark在开始另一个阶段之前完成了一个阶段，唯一可能有影响的情况是在作业服务器类型的场景中，所以需要记住这一点。例如，当运行一个YARN集群，其中运行多个Spark版本的应用程序的混合工作负载时，这可能很有帮助，因为给定版本的shuffle服务并不总是与其他版本的Spark兼容。Spark发行版，由于它已经包含了内置的Hadoop运行时，默认情况下，当作业提交到Hadoop Yarn集群时，为了防止jar冲突，它不会将Yarn的classpath填充到Spark中。
idea远程调试代码（图文详细）
08-06
这几天，我做的项目中需要使用第三方的 API，在第三方的 API 回调时，出现各种错误，需要远程调试。之前做远程调试的时候，我只会在代码中输出日志，记录下来做分析处理，但这样做既麻烦又费时，往往还不能准确定位问题，恶心至极。之前做 .NET 开发时用过 Remote Debug 这个功能，想想 Idea 这么牛逼，是不是也有这个功能，上网一查，还真有，共享出来，与诸君共勉。
IDEA远程调试Spark
carrots
02-06 1629
1.前言 本文讲述如何使用IDEA远程调试spark，这里所说的调试spark包括： 调试spark应用程序，也就是使用spark算子编写的driver application spark自身，包括master，worker，所以这个主要针对的是standalone模式下的，使用yarn提交时不存在master和worker这两个角色。 在开始之前会介绍一下如何使用idea远程debug普通...
Spark源码系列（零）-如何开始分析Spark源码
Dreamershi的专栏
08-11 436
如果想更深入的理解Spark，那么就需要深入去研究下源码实现。关于Spark源码下载可以到官方网站或者github进行下载，而阅读源码的最好方式就是调试，Spark源码调试有很多种办法，本文介绍一种我常用的调试方法。 在调试Spark代码之前，可以先找一台linux主机安装Spark，这里最简单的方式用local方式即可，只需要下载官网编译好的Spark安装包即可，当然也可以部署一套Standalone模式的SPark集群，或者使用Spark on Yarn模式（推荐这种方法，不过需要搭建一套Hadoop
Spark Streaming2.3.x大数据企业级项目实战
01-15
本课程为项目实战课，项目各个环节既深入讲解理论知识，又结合项目业务进行实操，从而达到一站式掌握大数据离线项目。
Windows下IDEA远程调试Spark Streaming
荒野雄兵的专栏
07-19 2390
前言 本来半年前就应该发出来了,结果一拖就拖到了现在,真!是!决!定!了!就!要!立!即!去!做!啊! Spark版本：2.1.2 Kafka版本：1.0.0 Linux系统：CentOS6.5 场景： 做Spark Streaming开发，在Win7下使用IDE进行开发，希望在本地IDEA上远程连接服务器上的大数据集群进行调试，这里仅连服务器上的Kafka和Zookeeper服务 ...
spark远程调试debug及编译spark源码
qq_16563637的博客
09-22 984
先将下面代码打包 第一种方式 先backage然后打断点,然后Debug执行main方法 在idea中添加参数 ①点击Run下的Edit Configurations ②配置Configuration页中的Program arguments选项，就可以在idea中传入参数，参数之间用空格隔开 执行代码如下: package cn.itcast.spark.day1 import org.apac...
第102讲： 动手实战Spark Streaming自定义Receiver并进行调试和测试
qq_21234493的博客
05-22 2985
1：SparkStreaming虽然说已经支持了很多不同类型的数据来源。但是有时候可能我们的一些数据来源非常特殊 ，不是它天然默认支持的，这时候就要自定义Receiver。而自定义Receiver，一般都是基于网络的方式。因为你传数据的话，一般是从另外一个网络端口传过来，至于传的协议是另外一码事。 2：从本质上来说，SparkStreaming中的所有Receiver，都是自定义的Receive
Spark代码远程调试
upupfeng的博客
04-30 1769
在本地的IDEA调试 在集群中运行的Spark代码 场景：写好的代码在本地可以跑通，但是到了集群中就有可能报错，只有通过远程的调试，才能了解为什么报错，进而修复存在的问题 参考https://blog.youkuaiyun.com/l1212xiao/article/details/80854767 准备 远程调试时用到了JVM的一些参数 -Xdebug -Xrunjdwp:transport=dt_sock...
spark 应用输出debug日志
偷闲小苑
09-25 5711
问题:yarn container 大量输出debug日志 –> 磁盘写满 –> nodemanager 识别该盘为bad disk -> 停止服务 -> spark task lost 。container stdout:排错过程： 查看log4j文件，查看yarn log 级别， 发现均为正常。 发现driver，executor日志输出表现不一致（driver成功加载，executor表现和配
Spark Streaming与Storm对比分析
"Spark Streaming和storm的对比，涵盖了Spark Streaming的原理、运行机制以及与storm的比较，包括两者的应用场景、编程模型、容错机制和优化。此外，内容还涉及为何需要流处理系统，以及流处理系统如Storm、Spark ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值