Flink中使用Kryo序列化器的注意事项

最新推荐文章于 2025-08-09 09:40:32 发布
原创 最新推荐文章于 2025-08-09 09:40:32 发布 · 4.7k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kryo #flink #序列化

本文探讨了在Flink环境中使用Kryo序列化时遇到的ClassNotFound问题，并提供了具体的解决方案，包括设置正确的类加载器及调整Flink配置。

你以为我要说的是在Flink中使用Kryo序列化吗？不是的，还记得上一篇关于Kryo序列化的问题的文章：Kryo序列化：Class Not Found的可能原因.

里面介绍了因为在Spark环境下由于类加载器原因导致Kryo反序列化时找不到类的问题。

没错，还有续集。这次是在Flink下，也出现了同样的问题。

问题复现

见如下代码，是Flink提交给YARN的主函数类，里面反序列化一个 StreamParam的参数类。这个类就在提交的jar包里。
(KryoSerializer是我们自己封装了下Kryo，里面还是Kryo实例。)

object MyFlinkDriver {
   
   

  def main(args: Array[String]): Unit = {
   
   
    Assert.paramMiss(args.length > 0, "StreamParam JsonString")

    val param = KryoSerializer.deserialize(
最低0.47元/天 解锁文章
【Flink】The Kryo Output still contains data from a previous serialize call. It has to be flushed or
九师兄
07-03 943
因为这个问题点击，我把 synchronized (output){ output.collect(record) } 改成如下，然后报错 // synchronized (output){ output.collect(record) // } 错误详情如下 2020-04-15 10:46:00,970 ERROR org.wso2.siddhi.core.str...
Spark报错处理系列之：Kryo serialization failed: Buffer overflow. Available: 0, required: 12678.
zhengzaifeidelushang的博客
12-16 876
Spark报错处理系列之：Kryo serialization failed: Buffer overflow. Available: 0, required: 12678. To avoid this, increase spark.kryoserializer.buffer.max value.
flink使用kryo支持自定义的序列化器
lixia0417mul2的博客
09-25 1662
kryo支持自定义的序列化器
Flink-kryo序列化方式&类型管理
shufangreal的博客
05-04 4683
Flink类型管理与序列化 Flink作为一个强大的实时计算引擎，底层大部分源码都是Java编写的，所以flink对pojo有着很好的支持，类似于Spark中DataFrame引入的schema，Flink也能够很好的infer推断数据类型的schema，可以将推断出的schema当作一个database，所以TypeInformation中包含了一个类的很多基本信息。TypeInformatio...
Flink-1.19.2报错及解决方案
自律给我自由
08-09 961
Flink序列化问题解决方案摘要 Flink使用过程中遇到ConcurrentHashMap和LocalDateTime无法作为POJO类型的问题，需回退到Kryo序列化，影响性能和状态兼容性。解决方案包括： 替换为Flink原生类型（如Tuple）或符合POJO规范的类； 显式注册Kryo序列化器； 添加Twitter Chill依赖解决Scala扩展不可用问题； 使用TypeInformation系统替代废弃的registerTypeWithKryoSerializer方法。 对于自定义类型，推荐通过T
Flink无法序列化问题 *** is not serializable.
weixin_48481972的博客
03-11 3850
解决Flink无法序列化的一种思路
29、Flink 注册自定义序列化器详解
猫猫爱吃小鱼粮
05-14 734
Flink 注册自定义序列化器详解
从一例状态引发的性能问题谈Flink状态序列化
LittleMagic's Blog
10-26 1425
前言 好久不见(鞠躬 最近处在转型期，每天忙到飞起，关注具体技术细节的精力自然就比较少了(上一篇许下的周更承诺也食言了 = =)。上周帮助他人快速解决了一个因误用Flink状态类型引发的性能问题，在这里做个quick notes，并简要介绍一下Flink状态序列化方面的基础知识。 问题及排查 上游部门同事反馈，一个计算逻辑并不复杂的多流join DataStream API作业频繁发生消费积压、c...
FLINK状态序列化与反序列化的优化技巧
smile6868的博客
04-20 829
在 `ExecutionConfig` 中注册状态数据类型的 `TypeInformation`，这样 Flink 可以重用已序列化的对象，减少序列化/反序列化的开销。- 重写状态类的 `toString()` 方法，避免在日志记录中使用默认的 `toString()`，这样可以减少字符串的创建和序列化。- 使用高效的数据结构，如 Flink 的 `ListState`、`MapState` 等，它们专为流处理作业设计，具有较好的性能。- 尽量使用简单、扁平的数据结构，以减少序列化/反序列化的复杂性。
Flink 数据类型和序列化
hhhhhhfq的博客
04-06 1058
为 Flink 量身定制的序列化框架 为什么要为 Flink 量身定制序列化框架？ 大数据生态中大多数技术组件都是运行在 JVM 上的，Flink 也是运行在 JVM 上，基于 JVM 的数据分析引擎都需要将大量的数据存储在内存中，这就不得不面临 JVM 的一些问题，比如 Java 对象存储密度较低等。针对这些问题，最常用的方法就是实现一个显式的内存管理，也就是说用自定义的内存池来进行内存的分配回收，接着将序列化后的对象存储到内存块中。 现在 Java 生态圈中已经有许多序列化框架，比如说 Java ser
java集合序列化异常_的Flink序列化java.util.List以及java.util.Map
weixin_31001739的博客
03-03 797
我的Flink pipeline 当前使用的是一个Pojo，它包含一些列表和 map(字符串)，如下所示public class MyPojo {private List myList = new ArrayList<>();private OtherPojo otherPojo = new OtherPojo();// getters + setters...}public cla...
Flink｜《Flink 官方文档 - DataStream - 管理执行 - 执行配置》学习笔记
长行
01-15 1236
它允许在运行时设置作业特定的配置值。
spark 2.X 疑难问题汇总
weixin_30235225的博客
11-18 595
当前spark任务都是运行在yarn上，所以不用启动长进程worker，也没有master的HA问题，所以主要的问题在任务执行层面。 作业故障分类故障主要分为版本，内存和权限三方面。 - 各种版本不一致 - 各种内存溢出 - 其他问题 版本不一致1）java版本不一致报错：java.lang.UnsupportedClassVersionError: com/immomo/recom...
kryoserializer java_Spark2 的序列化（JavaSerializer/KryoSerializer）
weixin_29138345的博客
02-13 682
环境JDK 1.8.0Hadoop 2.6.0Scala 2.11.8Spark 2.1.2Oozie 4.1Hue 3.9简单说明spark 默认的序列化器是 JavaSerializer，能够支持所有对象自动的序列化，但是效率比较低。KryoSerializer 比 JavaSerializer 效率高很多，但是不支持所有对象的序列化(比如？？)，在使用时需要手动注册自定义类...
2.Flink序列化机制
流月up的博客
04-26 784
Flink序列化机制
java spark-streaming Kryo序列化缓冲区太小报错
weixin_43241706的博客
05-20 901
错误信息： KryoException: Buffer overflow. Available: 0, required：XXX SLF4J: Class path contains multiple SLF4J bindings. SLF4J: Found binding in [jar:file:/data/hadoop/yarn/local/filecache/185/spark2-hdp-yarn-archive.tar.gz/slf4j-log4j12-1.7.16.jar!/org/slf4j/
spark序列化问题解决
zhanghytc的博客
05-10 5006
saprk 未序列化 Exception in thread "main" org.apache.spark.SparkException: Task not serializable
org.apache.spark.SparkException: Kryo serialization failed
亮仔的专栏
02-22 946
在sparksql中显示的指定了mapjoin，导致广播的数据量太大，导致序列化超过指定大小。去除显示指定mapjoin sql如下： with einfo as     (        select            E6.EMP_NO    ,            E6.TEAM_ID       ,            E6.TEAM_NAME         ...
Flink之修改StreamExecutionEnvironment配置Job
吟啸徐行
04-17 9523
地址：https://ci.apache.org/projects/flink/flink-docs-release-1.2/dev/execution_configuration.html 对于批处理程序修改配置代码如下： val env = ExecutionEnvironment.getExecutionEnvironment val conf = env.ge
如何在 Flink 中测试不同序列化器的性能？
最新发布
11-22
在Flink中测试不同序列化器性能，可借助Flink基准项目，该项目在https://github.com/dataArtisans/flink-benchmarks ，它在Flink之上添加了一些微基准（有些比其他更低级）来跟踪性能回归和改进。Flink用于监控序列化堆栈性能的持续基准在`SerializationFrameworkMiniBenchmarks.java`中实现[^1]。 以下是一个简单示例来体现性能测试的思路，假设要测试不同序列化器对一个自定义对象的序列化和反序列化时间： ```java import com.esotericsoftware.kryo.Kryo; import com.esotericsoftware.kryo.io.Input; import com.esotericsoftware.kryo.io.Output; import java.io.ByteArrayInputStream; import java.io.ByteArrayOutputStream; import java.io.IOException; import java.io.ObjectInputStream; import java.io.ObjectOutputStream; import java.io.Serializable; // 自定义对象 class CustomObject implements Serializable { private String data; public CustomObject(String data) { this.data = data; } public String getData() { return data; } } public class SerializationPerformanceTest { public static void main(String[] args) throws IOException, ClassNotFoundException { CustomObject obj = new CustomObject("test data"); // Java序列化测试 long javaStartTime = System.currentTimeMillis(); ByteArrayOutputStream bos = new ByteArrayOutputStream(); ObjectOutputStream oos = new ObjectOutputStream(bos); oos.writeObject(obj); byte[] javaSerializedData = bos.toByteArray(); ByteArrayInputStream bis = new ByteArrayInputStream(javaSerializedData); ObjectInputStream ois = new ObjectInputStream(bis); CustomObject javaDeserializedObj = (CustomObject) ois.readObject(); long javaEndTime = System.currentTimeMillis(); System.out.println("Java Serialization time: " + (javaEndTime - javaStartTime) + " ms"); // Kryo序列化测试 Kryo kryo = new Kryo(); long kryoStartTime = System.currentTimeMillis(); Output output = new Output(new ByteArrayOutputStream()); kryo.writeObject(output, obj); byte[] kryoSerializedData = output.toBytes(); Input input = new Input(new ByteArrayInputStream(kryoSerializedData)); CustomObject kryoDeserializedObj = kryo.readObject(input, CustomObject.class); long kryoEndTime = System.currentTimeMillis(); System.out.println("Kryo Serialization time: " + (kryoEndTime - kryoStartTime) + " ms"); } } ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值