spark streaming 远程debug

最新推荐文章于 2024-02-17 19:11:27 发布
原创 最新推荐文章于 2024-02-17 19:11:27 发布 · 508 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍如何通过配置 Spark 的 driver 选项实现远程调试。利用 Java 的 JDWP 工具，开发者可以指定监听端口及调试模式，方便进行 Spark 应用程序的问题排查。
--conf "spark.driver.extraJavaOptions=-agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=9999"
[Spark版本更新]--Spark-2.4.0 发布说明
欢迎来到我的博客，一起探索代码里的世界！
11-09 7149
2018-11-02 Apache Spark 官方发布了 2.4.0版本，以下是 Release Notes，供参考：  Sub-task [ SPARK-6236 ] - 支持大于2G的缓存块 [ SPARK-6237 ] - 支持上传块> 2GB作为流 [ SPARK-10884 ] - 支持针对回归和分类相关模型的单实例预测 [ SPARK-11239 ] - 用于ML线性...
[Spark版本更新]--2.3.0发行说明
热门推荐
欢迎来到我的博客，一起探索代码里的世界！
03-03 1万+
自从2017年12月1日发布spark-2.2.1以来，已有3个月时间。2018年2月28日，spark官方发布了一个大版本Spark-2.3.0，解决了1399个大大小小的问题。一、DataBricks做了相关说明今天，我们很高兴地宣布Databricks上的Apache Spark 2.3.0作为其Databricks Runtime 4.0的一部分。我们要感谢Apache Spark社区为S...
Spark Streaming job 远程debug方法
xueba207的专栏
02-23 2805
记录下spark job的运程调试方法。
Spark远程调试IDE调试
拱头的专栏
03-22 2147
1、JVM里面设置以下参数（在spark-env.sh中添加系统变量SPARK_JAVA_OPTS） export SPARK_JAVA_OPTS=" -agentlib:jdwp=transport=dt_socket,server=y,suspend=y,address=8888" 这里对上面的几个参数进行说明： -agen
Spark local/standalone/yarn/远程调试-运行WordCount
Nougats的博客
06-11 1630
local直接启动spark-shell./spark-shell --master local[*]编写scala代码sc.textFile("/input/file01.txt") res0.cache() res0.count val wd=res0.flatMap(_.split(" ")).map((_, 1)).reduceByKey(_+_) wd.collect.foreach(pr
spark streaming 调试技巧
学无止境
04-29 9501
spark streaming 如果以local 模式运行，log日志非常清楚。 如果log 日志是运行在yarn 模式下，driver 的日志可以通过reource manager 日志看到。但是executor的日志却看不到，我们往往错误都发生在executor里，比如典型的错误：如果我们连接hbase去存取数据的话，我们会在driver里初始化了连接，缺忽略的excutors里，导致程序出错
<Spark Streaming><本地调试>
weixin_30433075的博客
05-20 225
写在前面 因为本地电脑没装flume，nginx各种。所以之前写Streaming程序的时候，都是打包了放到集群上跑。就算我在程序代码里不停地logger，调试起来也hin不方便。 于是本地写了两个程序，在intellj调试。 主要就是包括两个程序： 一个是GenerateChar.scala用来向某个指定端口，使用socket发消息； 另一个就是要测试的Streaming程序了...
在idea上用SparkStreaming实现从远程socket读取数据并完成Wordcount
jiaotongqu6470的博客
11-09 1184
首先，准备环境 在本机（win7）上安装好idea（自行解决） 我的远端就是一台Centos版本的Linux，主机名叫master。 在这个远端上装好 nc(“脑残”)[root@Master ~]# nc -lk 8888bash: nc: command not found出现这个说明我的nc并没有安装，那么我装一下（首先得配好网络yum源，），执行下面的命令[root@Master ~
SparkStreaming消费Kafka无法消费持续阻塞（无异常信息）
wunanliu的采坑日记
04-28 2917
产生背景：由于工作需要，目前现有查询业务，其他厂商数据库无法支持，高效率的查询响应速度，于是和数据总线对接，实现接入数据，自己进行数据结构化处理。 技术选型：SparkStreaming和Kafka和ElasticSearch 本人集群：SparkStreaming 版本2.3，Kafka的Scala版本2.11-Kafka版本0.10.0.0 （Kafka_2.11-0.10.0.0.jar） 消息总线集群：Kafka总线版本，Kafka_2.10-0.10.2.1.jar 由上述可...
【spark】【在YARN上运行Spark】【Running Spark on YARN】
最新发布
wq6qeg88的博客
02-17 1341
通常情况下，这并不重要，因为Spark在开始另一个阶段之前完成了一个阶段，唯一可能有影响的情况是在作业服务器类型的场景中，所以需要记住这一点。例如，当运行一个YARN集群，其中运行多个Spark版本的应用程序的混合工作负载时，这可能很有帮助，因为给定版本的shuffle服务并不总是与其他版本的Spark兼容。Spark发行版，由于它已经包含了内置的Hadoop运行时，默认情况下，当作业提交到Hadoop Yarn集群时，为了防止jar冲突，它不会将Yarn的classpath填充到Spark中。
idea远程调试代码（图文详细）
08-06
这几天，我做的项目中需要使用第三方的 API，在第三方的 API 回调时，出现各种错误，需要远程调试。之前做远程调试的时候，我只会在代码中输出日志，记录下来做分析处理，但这样做既麻烦又费时，往往还不能准确定位问题，恶心至极。之前做 .NET 开发时用过 Remote Debug 这个功能，想想 Idea 这么牛逼，是不是也有这个功能，上网一查，还真有，共享出来，与诸君共勉。
IDEA远程调试Spark
carrots
02-06 1676
1.前言 本文讲述如何使用IDEA远程调试spark，这里所说的调试spark包括： 调试spark应用程序，也就是使用spark算子编写的driver application spark自身，包括master，worker，所以这个主要针对的是standalone模式下的，使用yarn提交时不存在master和worker这两个角色。 在开始之前会介绍一下如何使用idea远程debug普通...
java 远程调试
ilytl的专栏
09-12 680
【class文件调试】 Main.class源码： public class Main { public static void main(String[] args) throws InterruptedException { while(true) { System.out.println("myname is debug");
Spark 远程调试
houzhizhen的专栏
08-09 1104
【代码】Spark 远程调试。
Spark性能调优
笔尖的痕的专栏
03-10 801
通常我们对一个系统进行性能优化无怪乎两个步骤——性能监控和参数调整，本文主要分享的也是这两方面内容。 性能监控工具 【Spark监控工具】 Spark提供了一些基本的Web监控页面，对于日常监控十分有用。 1. Application Web UI http://master:4040（默认端口是4040，可以通过spark.ui.port修改）可获得这些信息：（1）
Spark任务中的log4j简单配置方法
LittleMagic's Blog
03-04 3446
Spark默认是集成log4j作为日志框架的，因此在我们的Spark作业中也使用log4j来输出日志。 不过，如果只是简单地将自定义的log4j.properties文件扔进项目的resources文件夹，然后直接打包运行的话，会发现程序根本不会鸟它，打印出来的日志与之前完全相同，也不会输出到文件。这时可以在spark-submit的driver JVM参数中，打开log4j的调试...
Spark - Spark中各个角色的JVM参数设置
tianyeshiye
03-18 2037
Driver的JVM参数 -Xmx，-Xmsyarn-client模式 ：则默认读取spark-env文件中的SPARK_DRIVER_MEMORY值，-Xmx，-Xms值一样大小；yarn-cluster模式 ：则读取的是spark-default.conf文件中的spark.driver.extraJavaOptions对应的JVM参数值。 PermSizeyarn-client模式 ...
spark配置代理
chg1226的博客
11-05 1976
主要是spark.driver.extraJavaOptions和spark.executor.extraJavaOptions两个参数 可以写到配置文件里， spark.driver.extraJavaOptions &quot;-Dhttp.proxyHost=&amp;lt;&amp;gt; -Dhttp.proxyProt=&amp;lt;&amp;gt; -Dhttps.proxyHost=&amp;lt;&amp;gt; -Dht
Spark 故障排除
qq_41982570的博客
03-03 994
Spark 故障排除
Spark Streaming与Storm对比分析
"Spark Streaming和storm的对比，涵盖了Spark Streaming的原理、运行机制以及与storm的比较，包括两者的应用场景、编程模型、容错机制和优化。此外，内容还涉及为何需要流处理系统，以及流处理系统如Storm、Spark ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值