37. Spark-shell启动时，报如下错误 java.lang.AssertionError: assertion failed: unsafe symbol SparkSession (ch

最新推荐文章于 2024-08-31 09:22:23 发布
最新推荐文章于 2024-08-31 09:22:23 发布
阅读量1.9k 收藏
点赞数
文章标签： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq0719/article/details/103891792
版权
本文解决了一起由于误将某项目特定jar包上传至Spark指定目录而引发的罕见错误。通过删除位于/usr/hdp/2.6.5.0-292/spark2/jars/Spark目录下的XXXXX.spark-XXXXX-0.0.1.jar，成功解决了问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

此报错，实属罕见。排除了spark配置及集群参数等后，追本溯源，怀疑是服务器上误上传了一个jar包到了spark指定目录，删掉后，问题解决。

 

 

删掉

/usr/hdp/2.6.5.0-292/spark2/jars/ Spark该目录下存在的一个jar包： XXXXX.spark-XXXXX-0.0.1.jar (此jar包，是某项目用到的jar包，是误操作上传到此目录)。

即可

 

此贴来自汇总贴的子问题，只是为了方便查询。

总贴请看置顶帖：

pyspark及Spark报错问题汇总及某些函数用法。

https://blog.youkuaiyun.com/qq0719/article/details/86003435

java.lang.AssertionError: assertion failed: No plan for HiveTableRelation的解决方法
Lestat.Z.的博客
05-13 5637
前言 在使用pyspark跑sparksql的时候出现了类似如下的错误： java.lang.AssertionError: assertion failed: No plan for HiveTableRelation .... 一般来说这种错误的产生是因为在创建SparkSession对象的时候HiveContext没有被启用。 查了一下代码， 果不其然： #In python spark ...
spark on yarn 能输出结果 但出现AssertionError
sunflower_cao的专栏
08-05 5456
今天在spark1.0.1上面自己写了一个javawordcount  然后打成jar包 提交到yarn上面执行： 运行到最后可以在hadoop的stdout里边看到正常的结果输出 hadoop: 1 : 1 hello: 3 2.2.0: 1 world: 1 复制代码 但是在stderr里边出现 in 4.089 s 14/08/05 13:
【Pyspark】提取Hive数据报错 java.lang.AssertionError: assertion failed: No plan for HiveTableRelation
yuxeaotao的博客
06-02 1192
一般来说这种错误的产生是因为在创建SparkSession对象的时候HiveContext没有被启用。创建SparkSession对象记得启用HiveContext。
assertion failed: Failed to get records for spark-executor3 24025 after after polling for 1000
Why Do You Run
04-01 3514
这个问题有必要记录一下！！！！ 报错信息如下 任务运行时，Task锯齿图 有人说加参数 "spark.streaming.kafka.consumer.poll.ms", 512 如果你尝试这个成功了那么恭喜你，可以关闭此博客了！ 我们项目遇到了这个问题，加了参数没得用，而且导致job失败，本来job虽然会慢一点，但是加了这个参数则会报上面截图的错误！ 左思右想不知道怎么回事儿！ 带宽问题？...
unsafe symbol Unstable (child of package InterfaceStability) in runtime reflection universe
qq_41587243的博客
06-16 1060
问题： java.lang.AssertionError: unsafe symbol Unstable (child of package InterfaceStability) in runtime reflection universe at scala.reflect.internal.Symbols$Symbol.<init>(Symbols.scala:237) at scala.reflect.internal.Symbols$TypeSymbol.<init>
scrcpy投屏 AssertionError: java.lang.reflect.InvocationTargetExcep
02-18
标题中的问题“scrcpy投屏 AssertionError: java.lang.reflect.InvocationTargetException”是用户在尝试使用Scrcpy时遇到的一个常见错误。这个错误通常意味着在执行某个方法时，Java运行时环境遇到了未预期的情况。...
java出现200错误,java.lang.AssertionError：预期状态：< 200>但是是：< 404>在Junit测试中...
weixin_39846378的博客
02-27 1228
I want to create JUnit test for Rest api and generate api doc. I want to test this code:Rest controller@RestController@RequestMapping("/transactions")public class PaymentTransactionsController {@Autow...
WebLogic错误 java.lang.AssertionError: Registered more than one
04-23
在WebLogic Server 9.2至10.0版本中，用户可能会遇到一个特定的错误，即“java.lang.AssertionError: Registered more than one instance with the same objectName”。这个错误主要表现为服务器启动后，在Admin ...
java.lang.assertionerror: assertion failed
03-16
java.lang.AssertionError: 断言失败。 这是Java中的一个异常，通常在使用断言时出现。当断言条件不满足时，就会抛出这个异常。这个异常的出现表明程序中存在错误或者不符合预期的情况。需要检查代码中的断言条件，...
【Java】已解决：`java.lang.AssertionError`
最新发布
屿小夏.的知识博客
08-31 3429
是一种常见的错误类型，通常与开发者在代码中使用断言有关。本文将详细探讨这一错误的背景信息、可能的原因，并通过错误代码示例和正确代码示例来展示如何解决该错误。最后，还将提供一些注意事项，以帮助开发者避免类似问题。断言是一种用于测试代码假设的开发工具，它在开发阶段非常有用，能够帮助捕获不期望的代码行为。，我们应确保断言仅用于开发阶段的调试和验证，并且在正式代码中使用更可靠的错误处理机制。，提高代码的稳定性和健壮性。在编写代码时，注意以下几点可以有效避免。的值为负数，则会触发断言，抛出。在Java开发过程中，
eclipse启动遇到java.lang.AssertionError: assertion failed的问题
qq_42422526的博客
08-25 1万+
碰到这种小小的令人恶心的小问题就得治！ 好了废话少说！话说： eclipse启动时碰到下边的问题： This is a continuation of log file D:\Java\eclipse\workspace\.metadata\.bak_0.log Created Time: 2018-08-25 08:52:19.585 !ENTRY org.eclipse.e4.ui.w......
Spark 启动Spark Shell环境出错
m0_65893781的博客
10-31 1957
Spark 启动Spark Shell环境出错 Exception in thread "main" java.lang.NoSuchMethodError: jline.console.completer.CandidateListCompletionHandler.setPrintSpaceAfterFullCompletion(Z)V
Spark Streaming, Kafka receiver, "Failed to get records for ... after polling for 512"
lmb09122508的博客
03-23 4379
javajava.lang.AssertionError: assertion failed: Failed to get records for (...) after polling for 512使用spark streaming处理kafka中的数据，调试过程中，由于程序停了很长时间，导致kafka中挤压了很多数据，再次启动时，遇到了这个报错。网上查了很多资料，尝试了很多参数设置，发现然并...
已解决java.lang.AssertionError: 断言错误的正确解决方法，亲测有效！！！
小明的Java问道之路
05-10 7194
已解决java.lang.AssertionError: 断言错误的正确解决方法，亲测有效！！！
遇到的问题集
时间(实践)是检验真理的唯一标准
01-11 4296
问题1:streaming提交任务产生了堆积 原因 消费偏移量产生了大量的堆积查看sparkUI界面可以得知 由于偏移量由服务端掌握,所以2天堆积的数据达到了5000万条spark任务处理不过来 对策:重置消费偏移量,增大运行存储(需要增加的特别大,因为堆积的数据量太多,需要想办法处理) spark.streaming.unpersist()设置为true，可以自动回收 ...
java.lang.AssertionError 断言错误。
qq_22656655的博客
01-15 9948
java.lang.AssertionError at com.android.tools.idea.gradle.projectView.ModuleNodeIconDecorator.decorate(ModuleNodeIconDecorator.java:50) at com.intellij.ide.projectView.impl.CompoundProjectViewNodeDe...
Spark程序运行常见错误解决方法以及优化
AcceptedLin的博客
08-19 4514
Spark程序运行常见错误解决方法及优化 一.org.apache.spark.shuffle.FetchFailedException 1.问题描述 这种问题一般发生在有大量shuffle操作的时候,task不断的failed,然后又重执行，一直循环下去，非常的耗时。 2.报错提示 (1) missing output loc...
SPARK 启动spark-shell报错The specified datastore driver (“com.mysql.jdbc.Driver“) was not found
80后大叔爱学习
07-25 1462
错误提示：Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "DBCP" plugin to create a ConnectionPool gave an error : The specified datastore driver ("com.mysql.jdbc.Driver") was...
java.lang.AssertionError断言错误
热门推荐
我的IT日子
07-07 5万+
測試      @Test     public void testAdd() throws Exception {                           UserManager um = new UserManager();         User u = new User();         u.setUsername("b4");         u.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值