【Flink】Generic types have been disabled in the ExecutionConfig and type KryoSerializer Row

最新推荐文章于 2025-02-11 11:03:59 发布
最新推荐文章于 2025-02-11 11:03:59 发布
阅读量404 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 2025最新-大数据-flink 文章标签： flink Generic KryoSerializer row
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.youkuaiyun.com/qq_21383435/article/details/117744775
本文探讨了在Flink中遇到的一个问题，即在使用Row类型时遇到了Generic types被禁用的错误。通过分析源码，发现Row类型的序列化方式与预期不符。文章详细介绍了调试过程，包括跟踪源码、尝试各种解决方案，最终找到解决Row类型与KryoSerializer不兼容的方法。同时，提供了官方文档链接和相关测试案例，帮助读者理解并解决类似问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文
【Flink】Class class org.apache.flink.types.Row cannot be used as a POJO type because not all fields a
九师兄
07-03 4360
这个意思是实体类，你定义的不是一个Flink可序列化的类，因为里面不符合Pojo的规则。此外，使用Avro生成的类可以被Flink识别为POJO。数据json作为数据传递也会有这样的日志。运行Flink看着报错一个warn。结果显示这个类在是否在使用。
【Flink】flink报错：This type GenericType pojo cannot be used as key
九师兄
10-29 3254
1.视界 2.背景 参考：https://blog.csdn.net/qq_21383435/article/details/102801068 序列化主要是在 95-268-280-源码-Flink通信层的序列化与反序列化 中使用。 3.解决 /** * 测试点：自研测试测试，统计所有人的年龄之和 * * 测试数据： * lcc@lcc ~$ nc -lk 9992 * lcc,1 * lcc,2 * * 测试结果
java集合序列化异常_的Flink序列化java.util.List以及java.util.Map
weixin_31001739的博客
03-03 776
我的Flink pipeline 当前使用的是一个Pojo，它包含一些列表和 map(字符串)，如下所示public class MyPojo {private List myList = new ArrayList<>();private OtherPojo otherPojo = new OtherPojo();// getters + setters...}public cla...
Java Reflection: Generics
huoshuxiao的专栏
07-25 1472
Java Reflection: Generics By Jakob Jenkov     I have often read in articles and forums that all Java Generics information is erased at compile time so that you cannot access any
25、Flink 支持的数据类型及序列化详解
猫猫爱吃小鱼粮
05-11 865
Flink 支持的数据类型及序列化详解
Flink-序列化
最新发布
lu070828的博客
02-11 1438
几乎每个Flink作业都必须在其运算符之间交换数据，由于这些记录不仅可以发送到同一JVM中的另一个实例，还可以发送到单独的进程，因此需要先将记录序列化为字节。类似地，Flink的堆外状态后端基于本地嵌入式RocksDB实例，该实例以本机C++代码实现，因此也需要在每次状态访问时转换为字节。如果执行不正确，仅有线和状态序列化就很容易消耗作业的大量性能，因此，每当您查看Flink作业的分析器输出时，您很可能会在使用CPU周期的顶部看到序列化。因此，
09_Flink Streaming execute
codemosi的专栏，点击我可以跳到目录一栏
06-09 5002
通过env.execute();启动任务。env有四个实现类。LocalStreamEnvironment，是在本地jvm使用多线程模拟一个flink集群。四个实现类都是通过getStreamGraph来获取DAG图对象StreamGraph。 StreamGraph，保存着点边关系，和需要的上下文对象。可以重新api编程的语义。持有一个JobGraph对象，用来提交给集群。由Client，Jo
Flink DataStream 类型系统 TypeInformation
SmartSi
04-21 2364
Flink DataStream 应用程序所处理的事件以数据对象的形式存在。函数调用时会传入数据对象，同时也可以输出数据对象。因此，Flink 在内部需要能够处理这些对象。当通过网络传输或者读写状态后端、检查点以及保存点时，需要对它们进行序列化和反序列化。为了能够更高效的做到这一点，Flink 需要详细了解应用程序处理的数据类型。Flink 使用类型信息的概念来表示数据类型，并为每种数据类型生成特定的序列化器、反序列化器以及比较器。 此外，Flink 还有一个类型提取系统，可以分析函数的输入和返回类型来自动
Flinksql bug :Illegal mixing of types in CASE or COALESCE statement
Direction_Wind的博客
12-06 1314
flinksql中的 COALESCE 函数 或 case 函数。case when 多条判断语句 输出数据类型不一致。
Flink数据类型和序列化
勇心在馨
01-04 3066
序列化就是将一个内存对象转换成二进制串，形成网络传输或者持久化的数据流。反序列化将二进制串转换为内存对象，这样就可以直接在编程语言中读写和操作这个对象。在Java和大数据生态圈中，已有不少序列化工具，比如Java自带的序列化工具、Kryo等。一些RPC框架也提供序列化功能，比如最初用于Hadoop的Apache Avro、Facebook开发的Apache Thrift和Google开发的Prot...
flink源码之各个数据类型对应的序列化
weixin_38472282的博客
07-09 1457
在进行序列化前，flink已经把每个数据的类型存到了 field中，当进行序列化时么，对于复合类型，例如对于tuple，会依次获取每个元素的数据类型，然后进行相应的序列化。 flink把类型分为 BasicType BasicArrayType WritableType TupleType RowTypeInfo MapType PojoType ListType GenericType BasicType 为普通的数据类型，string，int等，在BasicTypeInfo 中， public Ty
找不到org.apache.commons.pool2.impl.GenericObjectPoolConfig的解决方法
热门推荐
u神的专栏
06-22 2万+
maven依赖版本不对，最好不要指定下级依赖的版本号，让上级依赖去自己选择最合适的version。 GenericObjectPoolConfig没有找到是因为spring-data-redis版本太高，去掉指定的version即可。
作为一个编程新手，我再也不怕Flink迷了我的眼！
weixin_33845477的博客
09-11 390
欢迎大家前往腾讯云+社区，获取更多腾讯海量技术实践干货哦~ 本文由kyledong 发表于云+社区专栏 使用 Flink 编写处理逻辑时，新手总是容易被林林总总的概念所混淆： 为什么 Flink 有那么多的类型声明方式？ BasicTypeInfo.STRING_TYPE_INFO、Types.STRING 、Types.STRING() 有何区别？ TypeInfoFactory 又是什么...
flink数据类型和序列化
weixin_39198774的博客
11-21 453
数据类型总览 总体继承关系如下 Flink的数据类型 这里我们取一种类型分析它的继承关系 序列化过程 ​ 具体的序列化过程时怎么样的呢？通过如图 TypeInfomation的createSerializer方法： /** * Creates a serializer for the type. The serializer may use the ExecutionConfig ...
2.Flink序列化机制
流月up的博客
04-26 659
Flink序列化机制
Apache Flink 进阶（五）：数据类型和序列化
xt1233的博客
11-01 660
作者：马庆祥 整理：毛鹤 本文根据 Apache Flink 系列直播整理而成，由 Apache Flink Contributor、360 数据开发高级工程师马庆祥老师分享。文章主要从如何为Flink量身定制的序列化框架、Flink序列化的最佳实践、Flink通信层的序列化以及问答环节四部分分享。 为 Flink 量身定制的序列化框架 为什么要为 Flink 量身定制序列化框架？ 大家都知道现在...
oracle timestamp java类型_Flink进阶教程：数据类型和序列化机制简介
weixin_39733812的博客
12-17 703
几乎所有的大数据框架都要面临分布式计算、数据传输和持久化问题。数据传输过程前后要进行数据的序列化和反序列化：序列化就是将一个内存对象转换成二进制串，形成网络传输或者持久化的数据流。反序列化将二进制串转换为内存对象，这样就可以直接在编程语言中读写和操作这个对象。一种最简单的序列化方法就是将复杂数据结构转化成JSON格式。序列化和反序列化是很多大数据框架必须考虑的问题，在Java和大数据生态圈中，已有...
flink实战--开发中常见的错误与问题
阿华田的博客
12-19 2万+
常见错误集 1.Checkpoint失败：Checkpoint expired before completing env.enableCheckpointing(1000L) val checkpointConf = env.getCheckpointConfig checkpointConf.setMinPauseBetweenCheckp...
flink GenericType
09-15
Flink 的 GenericType 是用于在 Flink 程序中处理复杂数据类型的工具类。它是 Flink 提供的一种泛型类型，可以用来定义 Flink 程序中的数据类型。 GenericType 可以用于定义包括基本数据类型、POJO 类型和 Tuple ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值