运行Spark 任务出现的错误

最新推荐文章于 2024-02-17 19:11:27 发布
转载 最新推荐文章于 2024-02-17 19:11:27 发布 · 123 阅读 · 0 ·
CC 4.0 BY-SA版权
原文链接：https://my.oschina.net/Rayn/blog/536355
文章标签：

#java #大数据 #scala

本文介绍了一种常见的Java运行时异常——StackOverflowError，并详细解释了导致此异常的原因及如何排查解决问题，特别是针对log4j包重复导致的问题。

为什么80%的码农都做不了架构师？>>>   hot3.png

Exception in thread "main" java.lang.StackOverflowError

at sun.util.calendar.AbstractCalendar.getTime(AbstractCalendar.java:175)

at java.util.Date.normalize(Date.java:1257)

at java.util.Date.normalize(Date.java:1204)

at java.util.Date.getTimeImpl(Date.java:890)

at java.util.Date.<init>(Date.java:256)

at java.util.zip.ZipUtils.dosToJavaTime(ZipUtils.java:74)

at java.util.zip.ZipFile.getZipEntry(ZipFile.java:570)

at java.util.zip.ZipFile.getEntry(ZipFile.java:313)

at java.util.jar.JarFile.getEntry(JarFile.java:240)

at java.util.jar.JarFile.getJarEntry(JarFile.java:223)

at sun.misc.URLClassPath$JarLoader.getResource(URLClassPath.java:1005)

at sun.misc.URLClassPath$JarLoader.findResource(URLClassPath.java:983)

at sun.misc.URLClassPath.findResource(URLClassPath.java:188)

at java.net.URLClassLoader$2.run(URLClassLoader.java:569)

at java.net.URLClassLoader$2.run(URLClassLoader.java:567)

at java.security.AccessController.doPrivileged(Native Method)

at java.net.URLClassLoader.findResource(URLClassLoader.java:566)

at java.lang.ClassLoader.getResource(ClassLoader.java:1093)

at org.apache.spark.Logging$class.initializeLogging(Logging.scala:119)

at org.apache.spark.Logging$class.initializeIfNecessary(Logging.scala:106)

at org.apache.spark.Logging$class.log(Logging.scala:45)

at org.apache.spark.SecurityManager.log(SecurityManager.scala:134)

at org.apache.spark.Logging$class.initializeLogging(Logging.scala:122)

at org.apache.spark.Logging$class.initializeIfNecessary(Logging.scala:106)

at org.apache.spark.Logging$class.log(Logging.scala:45)

at org.apache.spark.SecurityManager.log(SecurityManager.scala:134)

at org.apache.spark.Logging$class.initializeLogging(Logging.scala:122)

at org.apache.spark.Logging$class.initializeIfNecessary(Logging.scala:106)

at org.apache.spark.Logging$class.log(Logging.scala:45)

at org.apache.spark.SecurityManager.log(SecurityManager.scala:134)

at org.apache.spark.Logging$class.initializeLogging(Logging.scala:122)

at org.apache.spark.Logging$class.initializeIfNecessary(Logging.scala:106)

at org.apache.spark.Logging$class.log(Logging.scala:45)

at org.apache.spark.SecurityManager.log(SecurityManager.scala:134)

at org.apache.spark.Logging$class.initializeLogging(Logging.scala:122)

at org.apache.spark.Logging$class.initializeIfNecessary(Logging.scala:106)

at org.apache.spark.Logging$class.log(Logging.scala:45)

at org.apache.spark.SecurityManager.log(SecurityManager.scala:134)

at org.apache.spark.Logging$class.initializeLogging(Logging.scala:122)

at org.apache.spark.Logging$class.initializeIfNecessary(Logging.scala:106)

at org.apache.spark.Logging$class.log(Logging.scala:45)

at org.apache.spark.SecurityManager.log(SecurityManager.scala:134)

at org.apache.spark.Logging$class.initializeLogging(Logging.scala:122)

at org.apache.spark.Logging$class.initializeIfNecessary(Logging.scala:106)

at org.apache.spark.Logging$class.log(Logging.scala:45)

at org.apache.spark.SecurityManager.log(SecurityManager.scala:134)

at org.apache.spark.Logging$class.initializeLogging(Logging.scala:122)

at org.apache.spark.Logging$class.initializeIfNecessary(Logging.scala:106)

at org.apache.spark.Logging$class.log(Logging.scala:45)

at org.apache.spark.SecurityManager.log(SecurityManager.scala:134)

at org.apache.spark.Logging$class.initializeLogging(Logging.scala:122)

at org.apache.spark.Logging$class.initializeIfNecessary(Logging.scala:106)

at org.apache.spark.Logging$class.log(Logging.scala:45)

at org.apache.spark.SecurityManager.log(SecurityManager.scala:134)

at org.apache.spark.Logging$class.initializeLogging(Logging.scala:122)

at org.apache.spark.Logging$class.initializeIfNecessary(Logging.scala:106)

at org.apache.spark.Logging$class.log(Logging.scala:45)

at org.apache.spark.SecurityManager.log(SecurityManager.scala:134)

at org.apache.spark.Logging$class.initializeLogging(Logging.scala:122)


解决办法：

检查引入的log4j 包有重复。删除重复的。

转载于:https://my.oschina.net/Rayn/blog/536355

org.apache.spark.logging类报错
aoyugang0603的博客
08-12 1235
一，1 在使用spark读取kafka数据时，当spark升级到2.0之后，出现如上问题：之前遇到了，当时在工程里面添加了org.apache.spark.Logging类，能够运行。 但是在后期使用过程中，又遇到了相同的问题，为了一劳永逸，今天彻底把问题解决。 在项目下创建org.apache.spark.logging类 将源码考入类中 package org.apach...
如何用代码提交spark任务并且获取任务权柄
最新发布
别人笑我太疯癫，我笑他人看不穿。
01-04 911
在国内说所有可能有些绝对，因为确实有少数大厂技术底蕴确实没的说能做出自己的东西，但其他的至少95%数据中台平台研发方案，都是集群中有一个持久化的程序，来接收任务信息，并向集群提交任务同时获取任务的权柄，把任务的appid和日志通过套接字的方式向外提供。
spark 使用中会遇到的一些问题及解决思路
热门推荐
xiao_jun_0820的专栏
04-14 6万+
7 内存溢出问题     在Spark中使用hql方法执行hive语句时，由于其在查询过程中调用的是Hive的获取元数据信息、SQL解析，并且使用Cglib等进行序列化反序列化，中间可能产生较多的class文件，导致JVM中的持久代使用较多，如果配置不当，可能引起类似于如下的OOM问题： Exception in thread "Thread-2" java.lang.
spark项目搭建时，idea报错
qq_63506589的博客
11-08 2411
spark项目搭建时，idea报错
spark疑难杂症
cclovezbf的博客
08-24 2213
背景:上周spark任务还能正常运行。突然执行就开始报错？ 写了一个spark的功能读取csv然后导入到hive功能， 先看报错FileNotFoundException ：这个报错可太简单了吧，不是就是文件文件找不到，啥文件找不到我就复制啥文件不好了么？是哪个文件？怎么好像打印乱码了呢？ 先不管。。。。 在接着看 TGT Renewer for hive@CDH.COM] security.UserGroupInformation (UserGroupInformation.java:run(10
【spark】【在YARN上运行Spark】【Running Spark on YARN】
wq6qeg88的博客
02-17 1211
通常情况下，这并不重要，因为Spark在开始另一个阶段之前完成了一个阶段，唯一可能有影响的情况是在作业服务器类型的场景中，所以需要记住这一点。例如，当运行一个YARN集群，其中运行多个Spark版本的应用程序的混合工作负载时，这可能很有帮助，因为给定版本的shuffle服务并不总是与其他版本的Spark兼容。Spark发行版，由于它已经包含了内置的Hadoop运行时，默认情况下，当作业提交到Hadoop Yarn集群时，为了防止jar冲突，它不会将Yarn的classpath填充到Spark中。
本地Idea运行Spark任务错误：Cannot assign requested address: bind: Service 'sparkDriver'
FYDragonFYL的博客
12-17 3185
18/12/17 10:37:20 ERROR SparkContext: Error initializing SparkContext. java.net.BindException: Cannot assign requested address: bind: Service 'sparkDriver' failed after 16 retries (starting from 0)! ...
Spark任务提交至YARN运行的3种方式与Mapreduce提交任务的几种形式
xby18772963985的博客
01-06 2573
Spark作为新一代计算平台的闪亮明星，在我们的大数据平台中具有非常重要的作用，SQL查询、流计算和机器学习等场景都能见到它的身影，可以说平台应用的数据处理、计算和挖掘等场景都可以使用Spark进行开发。在默认的情况下，如果想向Spark提交计算任务，通常会使用Spark提供的Spark-Submit脚本来提交含有业务逻辑的jar文件程序。这种方式虽然简单，但有悖于服务化的设计理念，所以需要为Spark提供一套任务管理的RESTful服务。 在大数据平台中，Spark是以Spark on YARN的方式运行
Hue-oozie运行spark
12-17
Hue可以用来运行Spark作业，提供了界面化的方式来编写和提交Spark工作流。接下来，我们将详细解读使用Hue编辑workflows提交Spark程序的过程、常见错误及解决方案。 首先，要使用Hue提交Spark程序，需要在Hue界面上...
spark升级后无logging类
08-11
在使用spark读取kafka数据时，当spark升级到2.0之后，出现如上问题：之前遇到了，当时在工程里面添加了org.apache.spark.Logging类，能够运行。
spark任务爆出大量的java.lang.StackOverflowError
u011602667的专栏
08-19 2429
spark executor jvm 参数设置
异常：java.lang.ArrayIndexOutOfBoundsException
m0_64838208的博客
05-20 5万+
java.lang.ArrayIndexOutOfBoundsException： 一种运行时异常，常出现在数组下标越界中，称为下标出界异常 代码演示： 下面异常报错，就是因为我的数组arr只能有arr[0],arr[1]两个元素，而我的循环中多插入了，所以出现了下标越界，而这是运行时异常，需要用户自己解决，所以我们有两种处理方法： 两种解决方式就可以消除异常 ...
使用SparkStreaming报错java.lang.ClassNotFoundException: org.apache.spark.internal.Logging$class解决方案
大屁孩的博客
08-28 7346
在使用sparkStreaming从kafka中采集数据报java.lang.ClassNotFoundException: org.apache.spark.internal.Logging$class错误： 我的pom.xml部分依赖如下： 解决方案 spark的jar包版本过高，不提供org.apache.spark.internal.Logging这个类，因此，将依赖更换如下： 问...
Spark升级到2.0后测试stream-kafka测试报java.lang.NoClassDefFoundError: org/apache/spark/Logging错误
煉心的博客
09-21 1万+
- 最近从Spark 1.5.2升级到2.0之后，运行测试代码spark-stream-kafka报以下错误： java.lang.NoClassDefFoundError: org/apache/spark/Logging at java.lang.ClassLoader.defineClass1(Native Method) at java.lang.ClassLoader.defi
执行spark程序报错: org.apache.spark.Logging
weixin_36815898的博客
03-10 2454
执行spark程序报错：Caused by: java.lang.ClassNotFoundException: org.apache.spark.Logging Spark Streaming在使用spark2自带的jar包进行wordcount统计时，出现以下报错 root@hadoop103 jars]# spark2-submit --master local[2] \ > --class org.apache.spark.examples.streaming.NetworkWordCount
SPARK常见报错
innersense的专栏
04-28 1326
在driver端报： [2020-04-28 10:55:16][main]-[ERROR][org.apache.spark.internal.Logging$class.logError(Logging.scala:91)] Error initializing SparkContext. org.apache.spark.SparkException: Yarn applicatio...
个人总结-Spark运行异常问题汇总
qq_34560135的博客
07-17 7521
Exception in thread “main” org.apache.spark.SparkException: When running with master ‘yarn’ either HADOOP_CONF_DIR or YARN_CONF_DIR must be set in the environment. $ vim /etc/profile #添加以下两句话 export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop export YARN_CONF_
Java通过Yarn提交Spark任务的详细配置教程
8. 错误排查与优化：如何对提交Spark任务过程中出现的问题进行诊断，以及如何根据YARN的监控界面和日志信息对Spark任务进行性能优化。 9. 作业提交与监控：最后，通过实际的命令行示例展示如何将Java编写的Spark...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值