[Flink错误总结]java.lang.NullPointerException: Keyed state can only be used on a ‘keyed stream‘

最新推荐文章于 2024-02-15 14:57:05 发布
最新推荐文章于 2024-02-15 14:57:05 发布
阅读量4.1k 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： Flink开发总结 文章标签： linux docker ssh
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/LangLang1111111/article/details/121531354
在尝试使用Flink监控状态时遇到NullPointerException，原因是未在操作前进行keyBy转换。解决方法是在stream上应用keyBy(t->t.f1.getSink_table())，然后添加sink。这确保了数据流是keyed stream，允许正确使用Keyed State。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

错误:

java.lang.NullPointerException: Keyed state can only be used on a 'keyed stream', i.e., after a 'keyBy()' operation.

在这里插入图片描述

原因:

在使用监控状态之前未将流转为keyed stream,导致出错.

解决方法:

        stream
                .keyBy(t -> t.f1.getSink_table())
                .addSink(FlinkSinkUtil.getPhoenixSink()).name("hbase sink");

在这里插入图片描述

Flink Keyed State 实例
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-25 4491
1 sourceStream必须要先keyBy然后才能使用Keyed State 2 需要继承RichxxxxFunction才行，在open之前声明，在open中初始化，在算子方法中使用和处理。不能继承xxxxxFunction，因为没有open方法，无法初始化，会报错。 3 open方法中只能初始化Keyed State，无法使用Keyed State（比如：获取值等操作），不然报错。因为open方法不属于Keyed上下文，算子方法才属于Keyed上下文 并行度是1： package Stat
【Flink】No key set. This method should not be called outside of a keyed context
九师兄
08-28 1941
在open中我对valueState进行了打印日志的操作，如果不用checkpoint的话会报空指针，我去掉了valueState的日志打印就好了。[流汗][流汗]那就是你初始话的valuestate.value是个null来着、、之前有checkpoint是好的，今天把checkpoint去掉后就报错了。你使用了keyed的状态，但前面没有做keyby吗？感觉是触发了清理后你又调用了。把这两行注释掉就可以了。看自定的的map设置如下。...
Flink类型导致的异常：java.lang.NullPointerException
xiaozhaoshigedasb的博客
05-23 5303
代码提交到yarn上后，一直报这个错，但是数据好像没丢，或者丢的少， 没看出来。。 一开始分析的是业务逻辑中匹配的时候，会有一些类型的问题，但是全部排查了一遍，貌似没有，更何况下边这个异常里面并没有指出代码中的哪一行类型异常。。所以就怀疑是不是kafka中的数据进来的时候就有空字段。。 今天无意中翻了一眼官网，他说： Scala Case Class（包括Scala元组）：最多22个字段，不支持空...
Flink 编写代码保存keyvaluestate时出现java.lang.NullPointerException空指针异常
weixin_43820544的博客
10-15 1002
问题： 解决方案： 检查是哪个地方出现空指针异常，看看是不是没有初始化值（大概率）。 这里是count值报空，keyvaluestate调用value（）函数，但是返回NULL值，查看下源码，确实是因为没在ValueStateDescriptor中设置当前状态的默认值，所以value（）会返回空。 查看ValueStateDescriptor源码，发现以下这一个方法，可以设置默认值，但是@Deprecated，已经给弃用，建议我们在使...
Flink Keyed State & Operator State
weixin_45626756的博客
07-27 709
Keyed State和Operator State Keyed State是KeyedStream上的状态。假如输入流按照id为Key进行了keyBy分组，形成一个KeyedStream，数据流中所有id为1的数据共享一个状态，可以访问和更新这个状态，以此类推，每个Key对应一个自己的状态。下图展示了Keyed State，因为一个算子子任务可以处理一到多个Key，算子子任务1处理了两种Key，两种Key分别对应自己的状态。 Operator State可以用在所有算子上，每个算子子任务或者说每个算子实例
出现Caused by: java.lang.NullPointerException异常的解决方法
你误入了一条咸鱼的博客
03-21 6396
出现Caused by: java.lang.NullPointerException异常的解决方法
【Flink异常】java.lang.NullPointerException：at org.apache.flink.streaming.runtime.tasks.OperatorChain$Co
search-lemon的博客
11-16 5308
文章目录1. 异常详情2. 原因及解决办法 1. 异常详情 java.lang.NullPointerException at org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChainingOutput.pushToOperator(OperatorChain.java:577) at org.apache.flink.streaming.runtime.tasks.OperatorChain$CopyingChaini
Flink 问题记录
文报的博客
10-31 1万+
1.集群突然宕机 找到Master节点的日志 vi 打开 Shift + g 跳到文件最后一行 Shift + n 查询任务名称找到对应的id 进入hdfs hadoop fs -ls /flink-checkpoints | grep 任务ID 找到id对应的checkPoint目录 进入目录 获取/flink-checkpoints/a1cb4cadb79c74ac8d3c7a11b6...
出现java.lang.NullPointerException的可能原因及解决方案
热门推荐
IT学习小镇
03-23 7万+
综上所述，最常见的原因是对象未被正确初始化或者有 null 值的参数、数组或集合。因此，开发人员需要避免这些情况并进行适当的错误处理。
Flink学习（三）状态机制于容错机制，State与CheckPoint
weixin_30537451的博客
04-02 504
摘自Apache官网 一、State的基本概念 什么叫State？搜了一把叫做状态机制。可以用作以下用途。为了保证 at least once, exactly once，Flink引入了State和Checkpoint 某个task/operator某时刻的中间结果 快照（snapshot） 程序一旦crash，恢复用的 机器学习模型的参数 二、Flink中包含...
Flink 源码剖析｜5. 键控状态的 API 层
长行
02-15 1105
在 Flink 中有如下 5 种键控状态（Keyed State），这些状态仅能在键控数据流（Keyed Stream）的算子（operator）上使用。键控流使用键（key）对数据流中的记录进行分区，同时也会对状态进行分区。要创建键控流，只需要在 DataStream 上使用keyBy()方法指定键即可。update(T)T value()get(UK)entires()keys()values()isEmpty()add(T)add(T)add(T)所有的类型状态还有一个clear()
Flink中的状态与容错
07-09 321
1.概述 Flink支持有状态计算，根据支持得不同状态类型，分别有Keyed State和Operator State。针对状态数据得持久化，Flink提供了Checkpoint机制处理；针对状态数据，Flink提供了不同的状态管理器来管理状态数据，如MemoryStateBackend。 上面Flink的文章中，有引用word count的例子，但是都没有包含状态管理。也就是说，如...
DataStream API编程
qq_32165517的博客
08-25 383
DataStream API编程 DataStream API开发概述 DataStream programs in Flink are regular programs that implement transformations on data streams (e.g., filtering, updating state, defining windows, aggregating). The data streams are initially created from various sourc
04_Flink Streaming DataStream
codemosi的专栏，点击我可以跳到目录一栏
06-06 2916
DataStream对象，简称ds，作为流计算编程的核心上下文。提供多种功能 //1:接入数据源 1：ds由env和SourceFunction产生，完成接入数据源的功能 //2:数据处理 2：filter。实现过滤功能 3：map，实现1->1的映射转换 4：flatmap，实现拆解字符串等复杂的转换功能 5：project，实现字段裁剪 6：transform实现复杂需求的功能
【Javaweb——tomcat常见错误】java.lang.NullPointerException
学习如逆水行舟，不进则退
10-06 1万+
参考：java.lang.NullPointerException出现的几种原因以及解决 运行程序时，发生错误： 错误类型：java.lang.NullPointerException 错误的地方：两个doPost java.lang.NullPointerException出现的几种原因： 1、字符串变量未初始化 2、接口类型的对象没有用具体的类初始化，比如： Map map // 会报错 Map map = new Map(); //则不会报错了 3、当一个对象的值为空时，你没有判断为空的情况。 4、
配合状态(state)使用的键控流(KeyedDataStream)
唤不醒的梦
11-03 998
Keyed DataStream 键控流(KeyedDataStream)概念：在flink中数据集为DataStream，对其进行分区时，会产生一个KeyedDataStream，然后允许使用键控流的operator以及特有的state(如mapstate、valuestate等) 如果想使用key state，需要对DataStream指明一个key进行分区，也可以使用keyby创建一个KeyedDataStream，对这个KeyedDataStream可以使用keyed state。 keyby
java.lang.NullPointerException的可能原因及处理
自渡
10-11 6万+
https://www.cnblogs.com/StrayWolf/p/6035952.html java.lang.NullPointerException具体意思是空指针异常，最常见的问题就是没有初始化。 字符串等数据类型没有初始化 类实例（对象）有用具体的类初始化 没有判断是否为空 https://www.php.cn/java-article-450636.html “java.lang.NullPointerException”主要是运行时才会发生，该异常属于Runti.
关于Java空指针异常的几种情况的总结（java.lang.NullPointerException）
Seachal的博客
06-12 6万+
在外文网站上看到的： 1. Calling the instance method of a null object.  2. Accessing or modifying the field of a null object.  3. Taking the length of null as if it were an array.  4. Accessing or modifying 
java.lang.NullPointerException: element cannot be mapped to a null key
临地的博客
06-17 8311
该报错是使用Stream的groupingBy方法，key为null导致的，可以加一个filter过滤null值，或加个try catch以免影响主流程 nested exception is java.lang.NullPointerException: element cannot be mapped to a null key at org.springframework.kafka.listener.adapter.MessagingMessageListenerAdapter.invoke.
flink java.lang.OutOfMemoryError: Java heap space
最新发布
03-20
当你在使用Flink时遇到"java.lang.OutOfMemoryError: Java heap space"错误时，这意味着Java堆内存不足以处理当前的任务或数据量。这通常是由于以下几个原因导致的： 1. 数据量过大：如果你的任务处理的数据量非常大，超过了Java堆内存的限制，就会导致内存溢出错误。这可能是因为你的输入数据集太大，或者你的计算逻辑导致了大量的中间数据产生。 2. 内存设置不合理：Flink的任务执行需要合理的内存配置。如果你的任务需要更多的内存来处理数据，你可以通过调整Flink的任务管理器和执行器的内存设置来解决问题。 解决这个问题的方法有以下几种： 1. 增加Java堆内存：你可以通过增加Java堆内存的大小来解决这个问题。可以通过修改Flink的启动脚本或配置文件中的相关参数来实现。例如，可以通过设置`-Xmx`参数来增加最大堆内存大小。 2. 优化任务逻辑：检查你的任务逻辑是否存在内存泄漏或者不必要的数据复制等问题。尽量减少中间数据的产生和复制，可以使用Flink提供的一些优化技术，如状态后端选择、数据本地性等。 3. 增加并行度：如果你的任务可以进行并行处理，可以尝试增加任务的并行度。这样可以将数据分散到更多的任务实例中，减少每个任务实例的内存压力。 4. 使用外部存储：如果你的数据量非常大，无法在有限的内存中处理，可以考虑使用外部存储来存储和处理数据。Flink提供了与各种外部存储系统（如Hadoop HDFS、Amazon S3等）的集成，可以将数据存储在外部存储中，并通过Flink进行处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值