Kryo序列化：Class Not Found的可能原因

最新推荐文章于 2024-07-22 15:12:15 发布

原创

最新推荐文章于 2024-07-22 15:12:15 发布 · 2.7k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#kryo #java #spark

本文介绍了一个Spark应用在Livy环境下遇到的Kryo反序列化找不到类的问题及解决方案。通过调整Kryo的类加载器设置，解决了类加载冲突，确保了程序正常运行。

最近写了个Spark应用，本地测试没问题，打成jar包，通过Livy运行Spark常驻服务，在Livy接收参数时使用Kryo进行反序列化却找不到类。

示例代码如下：

object LivyDriver {
   
   

  def runJob(spark: SparkSession, encodeJsonParam: String): String = {
   
   
    val param = KryoSerializer.deserialize(EncodeUtil.base64DecodeBytes

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

悟初境

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

专栏目录

tez报错 java.lang.ClassNotFoundException: com.esotericsoftware.kryo.pool.KryoFactory

yy的博客

07-12

1726

报错内容: Vertex failed, vertexName=Map 1, vertexId=vertex_1624327491036_0158_1_00, diagnostics=[Vertex vertex_1624327491036_0158_1_00 [Map 1] killed/failed due to:INIT_FAILURE, Fail to create InputInitializerManager, org.apache.tez.dag.api.TezReflectionExc..

Flink中使用Kryo序列化器的注意事项

寂寞的博客

03-25

4800

你以为我要说的是在Flink中使用Kryo序列化吗？不是的，还记得上一篇关于Kryo序列化的问题的文章：Kryo序列化：Class Not Found的可能原因. 里面介绍了因为在Spark环境下由于类加载器原因导致Kryo反序列化时找不到类的问题。没错，还有续集。这次是在Flink下，也出现了同样的问题。问题复现见如下代码，是Flink提交给YARN的主函数类，里面反序列化一个 StreamParam的参数类。这个类就在提交的jar包里。 (KryoSerializer是我们自己封装了下Kryo，里

参与评论您还未登录，请先登录后发表或查看评论

livy提交任务报错com.cloudera.livy.shaded.kryo.kryo.KryoException: Unable to find class: GATest.ConJob

春华秋实

08-08

5384

今天在测试的时候，出现这个错误，找了好久网上找不到，最近尝试多次终于成功了。问题就在于：Unable to find class你要把你已经uploadJar的jar包中包含的类，引入工程。我用spring-boot+livy+spark的一个例子:public class Contains extends Kryo{ @RequestMapping("/contains") @R...

使用kryo进行序列化各种异常分析解决

sudo5zzb的博客

08-29

8046

使用kryo进行分布式开发时出现如下异常: com.esotericsoftware.kryo.KryoException: java.lang.IndexOutOfBoundsException: Index: 104, Size: 9 Serialization trace: datas (com.bonc.text.entity.cluster.InputData) at c

dubbo反序列化问题 Unable to find class: path

rainbow_lasia的博客

07-07

2735

最近线上环境和测试环境总是时不时报找不到dubbo服务的错，或者是路径错误。 java.io.IOException:com.esotericsoftware.kryo.KryoException:Unabletofindclass:path atcom.alibaba.dubbo.common.serialize.support.kryo.KryoObjectInput.readObject(KryoObjectInput.java:127) atcom.alibaba.d...

kryo java_使用Kryo序列化任意Java对象（获取IllegalAccessError）

weixin_33728077的博客

02-21

560

动机：为了帮助进行远程调试(Java)，能够请求远程服务器将任意对象发送到我的本地计算机进行检查是很有用的。但是，这意味着远程服务器必须能够序列化运行时事先未知的任意Java对象。于是我四处询问，偶然发现了Kryo序列化库。根据Kryo的文档，主要功能是在序列化任意Java对象方面非常强大。对象不必实现Serializable，不需要no-arg构造函数就可以反序列化，而且我甚至不需要在序列化之前...

分布式架构中的序列化方式都有哪些？看看它们是如何使用的。

yuiezt的专栏

07-22

1182

分布式架构中的序列化方式多种多样，每种方式都有其特点和适用场景。在选择序列化方式时，需要根据实际需求和场景进行权衡和选择。例如，如果需要跨语言支持且对数据体积和性能有较高要求，可以选择Protocol Buffers或Thrift；如果追求简单和易读性，可以选择JSON或XML序列化方式。

Java List的序列化与反序列化：问题解析与最佳实践

Java List序列化与反序列化概念解析在 Java 中，序列化是将对象状态转换为可保持或传输的格式的过程。反序列化则是将这种格式恢复为对象的过程。这两个概念在 Java List 应用中尤为重要，因为它们涉及到数据持久...

解决 seata 序列化异常

m0_46998705的博客

07-15

1601

seata 序列异常解决方案

com.esotericsoftware.kryo.KryoException: Encountered unregistered class ID

寂寞的博客

04-06

1万+

最近遇到个`Kryo`反序列化的错误`com.esotericsoftware.kryo.KryoException: Encountered unregistered class ID: xxx`，最后发现是 `Kryo`不同版本导致的，而且只在有 `Map`时才出现兼容性问题，觉得非常有意思，希望可以帮到有需要的人。

java.lang.NoClassDefFoundError: com/esotericsoftware/kryo/serializers/ClosureSerializer$Closure

剑雨江湖

01-19

3284

2022-01-19 11:16:54,888 ERROR TorrentBroadcast - Store broadcast broadcast_0 fail, remove all pieces of the broadcast Exception in thread "main" org.apache.spark.SparkException: Job aborted due to stage failure: Task serialization failed: java.lang.NoClas.

win7下的storm代码移植到Ubuntu系统上，出现了报错 java.lang.NoClassDefFoundError: com/esotericsoftware/kryo/Serializer

GXU-数据与无线网络实验室-杨宁

03-28

6271

java.lang.NoClassDefFoundError: com/esotericsoftware/kryo/Serializer at org.apache.storm.serialization.KryoValuesSerializer.<init>(KryoValuesSerializer.java:33) ~[storm-core-1.1.1.jar:1.1.1] at ...

使用kryo做序列化会遇到的几个坑

热门推荐

临渊而立

04-05

2万+

最近在整理一个开发框架：主体：spring4+mybatis3+mysql前端：easyui 或者 Ace Admin，后者是一个基于bootstrap 的强大后台管理系统界面。集群：Tomcat+kryo+Redis其它：c3p0链接池、P6SPY作SQL跟踪、logback作日志。其中在整合kryo的时候，遇到了一些挑战，记录如下：问题一：在系列化有Hashtable、Hashmap之类的对象...

dubbox 中kryo序列化 KryoException: Encountered unregistered class ID: 114

futaoadmin的博客

08-10

8838

两个dubbo互相调用，然后报了KryoException: Encountered unregistered class ID: 114错误问题由于两个dubbo的SerializationOptimizer分别注册了bean，而dubbo又去使用map去存储bean class，key为数字顺序，value为bean的路径class，所以导致上午不能找到bean的错误，解决方法是在

关于spark运行FP-growth算法报错com.esotericsoftware.kryo.KryoException

Running_you

02-05

4270

Spark运行FP-growth异常报错在spark1.4版上尝试运行频繁子项挖掘算法是，照搬官方提供的python案例源码时，爆出该错误com.esotericsoftware.kryo.KryoException (java.lang.IllegalArgumentException: Can not set final scala.collection.mutable.ListBuffer f

java arraylist 序列化_无法序列化/反序列化ArrayList

weixin_34709138的博客

02-23

1031

我试图序列化和反序列化内部对象的数组列表：HairBirt param = new HairBirt();param.setName("name");param.setValue(2.3f);HairBirt param2 = new HairBirt();param2.setName("name2");param2.setValue(2.4f);ArrayList list = new Arra...

Netty整合Kryo进行序列化

裸睡的鱼

04-25

1430

Netty 是开源的基于java的网络通信框架，在上篇文章高性能NIO框架Netty-对象传输中对象的传输用的是自定义的编解码器，基于JDK的序列化来实现的，其实Netty自带的Object编解码器就可以实现对象的传输，并且也是基于JDK的序列化，而Kryo是性能更好的java序列化框架，本篇文章我们将用Kryo来替换JDK的序列化实现高性能的数据传输。 Kryo可能大家用的还不是特别多，我第...

Spark 类加载器导致的Kryo序列化问题

qq_41775852的博客

05-25

1734

文章目录背景Spark类加载器MutableURLClassLoader和ChildFirstURLClassLoaderMutableURLClassLoaderChildFirstURLClassLoader问题分析验证背景最近项目中设计到Spark BulkLoad Hbase，需要将一个自定义类的对象序列化成字节数组，存到Hbase中。考虑到Spark自带了java通用的Kryo序列化框架，所以参考网上的代码用Kryo实现了一个通用的序列化方法 public class KryoUtils {

【Kryo序列化框架】

Tonystark_lz的博客

10-05

592

Kryo序列化框架

Spark 报错 no Java class corresponding to Product with Serializable found