记flink消费kafka 数据序列化失败

最新推荐文章于 2025-06-04 13:52:38 发布
原创 最新推荐文章于 2025-06-04 13:52:38 发布 · 799 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#kafka #flink #scala

本文探讨了在使用Flink进行Kafka连接时遇到的JobExecutionException，通过定位报错发现是由于Flink和Kafka版本不匹配引发的。解决方案是更新依赖到flink-connector-kafka_2.12的1.11.1版本，确保与Flink版本同步。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

报错如下

Exception in thread "main" org.apache.flink.runtime.client.JobExecutionException: Job execution failed.
	at org.apache.flink.runtime.jobmaster.JobResult.toJobExecutionResult(JobResult.java:147)
	at org.apache.flink.runtime.minicluster.MiniClusterJobClient.lambda$getJobExecutionResult$2(MiniClusterJobClient.java:119)
	at java.util.concurrent.CompletableFuture.uniApply(CompletableFuture.java:602)
	at java.util.concurrent.CompletableFuture$UniApply.tryFire(CompletableFuture.java:577)
	at java.util.concurrent.CompletableFuture.postComplete(CompletableFuture.java:474)
	at java.util.concurrent.CompletableFuture.complete(CompletableFuture.java:1962)
	at org.apache.flink.runtime.rpc.akka.AkkaInvocationHandler.lambda$invokeRpc$0(AkkaInvocationHandler.java:229)
	at java.util.concurrent.CompletableFuture.uniWhenComplete(CompletableFuture.java:760)
	at java.util.concurrent.CompletableFuture$UniWhenComplete.tryFire(CompletableFuture.java:736)
	at java.util.concurrent.CompletableFuture.postComplete(CompletableFuture.java:474)
	at java.util.concurrent.CompletableFuture.complete(CompletableFuture.java:1962)
	at org.apache.flink.runtime.concurrent.FutureUtils$1.onComplete(FutureUtils.java:996)
	at akka.dispatch.OnComplete.internal(Future.scala:264)
	at akka.dispatch.OnComplete.internal(Future.scala:261)
	at akka.dispatch.japi$CallbackBridge.apply(Future.scala:191)
	at akka.dispatch.japi$CallbackBridge.apply(Future.scala:188)
	at scala.concurrent.impl.CallbackRunnable.run$$$capture(Promise.scala:36)
	at scala.concurrent.impl.CallbackRunnable.run(Promise.scala)
	at org.apache.flink.runtime.concurrent.Executors$DirectExecutionContext.execute(Executors.java:74)
	at scala.concurrent.impl.CallbackRunnable.executeWithValue(Promise.scala:44)
	at scala.concurrent.impl.Promise$DefaultPromise.tryComplete(Promise.scala:252)
	at akka.pattern.PromiseActorRef.$bang(AskSupport.scala:572)
	at akka.pattern.PipeToSupport$PipeableFuture$$anonfun$pipeTo$1.applyOrElse(PipeToSupport.scala:22)
	at akka.pattern.PipeToSupport$PipeableFuture$$anonfun$pipeTo$1.applyOrElse(PipeToSupport.scala:21)
	at scala.concurrent.Future$$anonfun$andThen$1.apply(Future.scala:436)
	at scala.concurrent.Future$$anonfun$andThen$1.apply(Future.scala:435)
	at scala.concurrent.impl.CallbackRunnable.run$$$capture(Promise.scala:36)
	at scala.concurrent.impl.CallbackRunnable.run(Promise.scala)
	at akka.dispatch.BatchingExecutor$AbstractBatch.processBatch(BatchingExecutor.scala:55)
	at akka.dispatch.BatchingExecutor$BlockableBatch$$anonfun$run$1.apply$mcV$sp(BatchingExecutor.scala:91)
	at akka.dispatch.BatchingExecutor$BlockableBatch$$anonfun$run$1.apply(BatchingExecutor.scala:91)
	at akka.dispatch.BatchingExecutor$BlockableBatch$$anonfun$run$1.apply(BatchingExecutor.scala:91)
	at scala.concurrent.BlockContext$.withBlockContext(BlockContext.scala:72)
	at akka.dispatch.BatchingExecutor$BlockableBatch.run(BatchingExecutor.scala:90)
	at akka.dispatch.TaskInvocation.run(AbstractDispatcher.scala:40)
	at akka.dispatch.ForkJoinExecutorConfigurator$AkkaForkJoinTask.exec(ForkJoinExecutorConfigurator.scala:44)
	at akka.dispatch.forkjoin.ForkJoinTask.doExec(ForkJoinTask.java:260)
	at akka.dispatch.forkjoin.ForkJoinPool$WorkQueue.runTask(ForkJoinPool.java:1339)
	at akka.dispatch.forkjoin.ForkJoinPool.runWorker(ForkJoinPool.java:1979)
	at akka.dispatch.forkjoin.ForkJoinWorkerThread.run(ForkJoinWorkerThread.java:107)
Caused by: org.apache.flink.runtime.JobException: Recovery is suppressed by NoRestartBackoffTimeStrategy
	at org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.handleFailure(ExecutionFailureHandler.java:116)
	at org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureHandler.getFailureHandlingResult(ExecutionFailureHandler.java:78)
	at org.apache.flink.runtime.scheduler.DefaultScheduler.handleTaskFailure(DefaultScheduler.java:224)
	at org.apache.flink.runtime.scheduler.DefaultScheduler.maybeHandleTaskFailure(DefaultScheduler.java:217)
	at org.apache.flink.runtime.scheduler.DefaultScheduler.updateTaskExecutionStateInternal(DefaultScheduler.java:208)
	at org.apache.flink.runtime.scheduler.SchedulerBase.updateTaskExecutionState(SchedulerBase.java:610)
	at org.apache.flink.runtime.scheduler.SchedulerNG.updateTaskExecutionState(SchedulerNG.java:89)
	at org.apache.flink.runtime.jobmaster.JobMaster.updateTaskExecutionState(JobMaster.java:419)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:498)
	at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRpcInvocation(AkkaRpcActor.java:286)
	at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleRpcMessage(AkkaRpcActor.java:201)
	at org.apache.flink.runtime.rpc.akka.FencedAkkaRpcActor.handleRpcMessage(FencedAkkaRpcActor.java:74)
	at org.apache.flink.runtime.rpc.akka.AkkaRpcActor.handleMessage(AkkaRpcActor.java:154)
	at akka.japi.pf.UnitCaseStatement.apply(CaseStatements.scala:26)
	at akka.japi.pf.UnitCaseStatement.apply(CaseStatements.scala:21)
	at scala.PartialFunction$class.applyOrElse(PartialFunction.scala:123)
	at akka.japi.pf.UnitCaseStatement.applyOrElse(CaseStatements.scala:21)
	at scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:170)
	at scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:171)
	at scala.PartialFunction$OrElse.applyOrElse(PartialFunction.scala:171)
	at akka.actor.Actor$class.aroundReceive$$$capture(Actor.scala:517)
	at akka.actor.Actor$class.aroundReceive(Actor.scala)
	at akka.actor.AbstractActor.aroundReceive(AbstractActor.scala:225)
	at akka.actor.ActorCell.receiveMessage(ActorCell.scala:592)
	at akka.actor.ActorCell.invoke(ActorCell.scala:561)
	at akka.dispatch.Mailbox.processMailbox(Mailbox.scala:258)
	at akka.dispatch.Mailbox.run(Mailbox.scala:225)
	at akka.dispatch.Mailbox.exec(Mailbox.scala:235)
	... 4 more
Caused by: java.lang.NoSuchMethodError: org.apache.flink.api.common.state.OperatorStateStore.getSerializableListState(Ljava/lang/String;)Lorg/apache/flink/api/common/state/ListState;
	at org.apache.flink.streaming.connectors.kafka.FlinkKafkaConsumerBase.initializeState(FlinkKafkaConsumerBase.java:858)
	at org.apache.flink.streaming.util.functions.StreamingFunctionUtils.tryRestoreFunction(StreamingFunctionUtils.java:185)
	at org.apache.flink.streaming.util.functions.StreamingFunctionUtils.restoreFunctionState(StreamingFunctionUtils.java:167)
	at org.apache.flink.streaming.api.operators.AbstractUdfStreamOperator.initializeState(AbstractUdfStreamOperator.java:96)
	at org.apache.flink.streaming.api.operators.StreamOperatorStateHandler.initializeOperatorState(StreamOperatorStateHandler.java:107)
	at org.apache.flink.streaming.api.operators.AbstractStreamOperator.initializeState(AbstractStreamOperator.java:264)
	at org.apache.flink.streaming.runtime.tasks.OperatorChain.initializeStateAndOpenOperators(OperatorChain.java:400)
	at org.apache.flink.streaming.runtime.tasks.StreamTask.lambda$beforeInvoke$2(StreamTask.java:507)
	at org.apache.flink.streaming.runtime.tasks.StreamTaskActionExecutor$SynchronizedStreamTaskActionExecutor.runThrowing(StreamTaskActionExecutor.java:92)
	at org.apache.flink.streaming.runtime.tasks.StreamTask.beforeInvoke(StreamTask.java:501)
	at org.apache.flink.streaming.runtime.tasks.StreamTask.invoke(StreamTask.java:531)
	at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:722)
	at org.apache.flink.runtime.taskmanager.Task.run(Task.java:547)
	at java.lang.Thread.run(Thread.java:748)

在这里插入图片描述
改成如下：问题解决，是版本的问题

  <dependency>
      <groupId>org.apache.flink</groupId>
      <artifactId>flink-connector-kafka_2.12</artifactId><!-- 与Scala大版本号一致-->
      <version>1.11.1</version><!-- 与Flink版本号一致-->
  </dependency>
lbl251
关注
【Flink】FLink Assigned key must not be null
九师兄
03-17 3606
1.场景1 1.1 概述 flink报错: Caused by: java.lang.NullPointerException: Assigned key must not be null! 具体如下 原因 keyBy的字段不能为null M.参考 Flink运行出现Assigned key must not be null
【FLink】Assigned key must not be null
九师兄
08-06 715
1.概述 我的flink任务报错Assigned key must not be null，但是我把keyby用到的字段已经提前做了非空过滤，还是偶尔会报这个错。 还没法复现这个问题。 对应的源码位于 public static int assignToKeyGroup(Object key, int maxParallelism) { Preconditions.checkNotNull(key, "Assigned key must not be null!"); /
Flink运行出现Assigned key must not be null
微电子学与固体电子学-俞驰
10-02 3881
完整报错如下: Exception in thread "main" java.util.concurrent.ExecutionException: org.apache.flink.runtime.client.JobExecutionException: Job execution failed. at java.util.concurrent.CompletableFuture.reportGet(CompletableFuture.java:357) at java.util.concur
Flink与Kafka
最新发布
Suzy_Leili的博客
06-04 1334
Apache Flink是一个流处理框架，用于处理大量实时数据。它支持数据流和数据集两种操作模式，可以处理批量数据和流式数据。Flink提供了一种高效的、可扩展的、可靠的流处理解决方案，适用于各种应用场景，如实时分析、事件驱动应用、数据流处理等。具体来说，Flink可以作为Kafka的消费者，从Kafka中读取数据，并进行流处理。同时，Flink也可以将处理结果写入Kafka，实现数据的持久化和分布式传输。因此，Flink和Kafka在数据流处理中具有很高的兼容性和可扩展性。
Assigned key must not be null!
jomplte博客
10-12 5233
Assigned key must not be null! flink报错: Caused by: java.lang.NullPointerException: Assigned key must not be null! 原因 keyBy的字段不能为null
flink 报错：Caused by: java.lang.RuntimeException: Assigned key must not be null!
Smileyan's blog
07-18 1万+
flink 开发常见问题
Flink DataStream Kafka 序列化 JSONKeyValueDeserializationSchema
SmartSi
04-16 446
在我们在使用 Flink Streaming Kafka Connector 从 Kafka 中读取时，一般会采用 SimpleStringSchema 来反序列化 Kafka 中的数据。如果是 Kafka 中的数据是 JSON 格式，然后采用 Gson 或者 FastJson 来解析数据。除了使用这种方式之外，Flink 为我们内置实现了一个 KafkaSerializationSchema 来帮我们解析 Kafka 中的 JSON 格式数据，即 JSONKeyValueDeserializa
【Flink实战系列】Flink 1.14.0 消费 kafka 数据自定义反序列化器
JasonLee实时计算
10-10 2306
Flink 1.14.0 消费 kafka 数据自定义反序列类 在最近刚发布的 Flink 1.14.0 版本中 Source 接口进行了重构,API 的变化还是非常大的,那在新的接口下消费 kafka 的时候如何自定义反序列类呢? Kafka Source 使用 Kafka source 提供了一个构建类来构造 KafkaSource 的实例。下面的代码片段展示了如何构建一个 KafkaSource 来消费 topic input-topic 的最早偏移量的消息，使用消费组 my-group，并且只将 m
【大数据】Flink + Kafka 实现通用流式数据处理详解
热门推荐
congge
10-27 1万+
Flink + Kafka 实现通用流式数据处理详解
flink-kafka 反序列化例子
04-11
flink 的版本为 1.14.6； kafka 的版本为 kafka_2.12-2.6.3； 作为案例，介绍如何序列化 并进行相关条件判定。
【Flink】Flink-Kafka序列化反序列化
一杯咖啡半杯糖的博客
01-05 2845
最简单的是SimpleStringSchema，对字符串进行序列化反序列化，这个Schema中既实现了了序列化，也实现了反序列化 new SimpleStringSchema() union.addSink(new FlinkKafkaProducer011[String]("localhost:9092", "test", new SimpleStringSchema())) val stream3 = env.addSource(new FlinkKafkaConsumer011[String](
Flink分配的键不能为空-解决“大数据“问题
DevEnigma的博客
09-02 621
Flink分配的键不能为空-解决"大数据"问题Apache Flink是一个流处理和批处理框架，被广泛用于大数据处理任务。然而，有时在使用Flink时，可能会遇到"Assigned key must not be null"（分配的键不能为空）的错误。本文将详细介绍这个问题的背景，并提供解决方案和示例代码。
JSON keys must not be null nor the \'null\' string.
wwwwenming2007的专栏
12-21 1591
JSON keys must not be null nor the \'null\' string
Java All parts of a PRIMARY KEY must be NOT NULL；if you need NULL in a key,use UNIQUE instead问题解决
旭东怪的博客
09-23 9286
问题描述： Cause: java.sql.SQLSyntaxErrorException: All parts of a PRIMARY KEY must be NOT NULL; if you need NULL in a key, use UNIQUE instead 问题分析： 1、设为主键的字段设置了可以为null。 CREATE TABLE users( `username` varchar(20) CHARACTER SET utf8 COLL
kafka生产者消息序列化异常
SUPER5266的博客
10-18 330
有应该是个别消息体过大，导致批量发送序列化失败，所以既可以调整kafka服务参数，可以从业务逻辑入手，删除冗余内容减小消息体Size。快速对策：调整kafka服务参数。
Flink跑kafka connector遇到的问题
yuanlaishidahuaa的博客
06-16 1312
将报错粘到网上，说是我分区数据坏了，kafka解析不了，所以把对应的这个topicA删除，重建一次，再往里写数据就好了。上面這幾個是bug中我找的关于问题的关键点。
Flink发送数据到kafka报错 Producer attempted to produce with an old epoch.
yy的博客
07-20 1443
Flink集群存在多个sink到kafka的任务,使用了相同的事务id,即 transactionalId 相同.flink中 事务id自动生成, 如果uid和name相同，得到的transactionid也一定相同.所以我们要排查的是 不能由多个任务写入同一个topic,而且sink算子的uid,name都一样.解决方法: uid/name 添加随机数 或者不同的字符.
flink sql 连接kafka avro序列化异常 Malformed data. Length is negative: -25
朝小佐_的博客
07-06 2028
反序列化 avro格式时候遇到如下问题，原因是flink sql 的数据源DDL的字段定义要和avro的schema定义一致，字段数量，字段类型都要一致。 错误的sql 正确的写法
Flink SQL 报错：kafka
ByteEchoX的博客
09-14 434
在使用 Flink SQL 连接 Kafka 时，如果遇到 “kafka.common.serialization.ByteArrayDeserializer 不是 org.apache.kafka.common.serialization.Deserializer 的实例” 的报错信息，说明您的反序列化器配置存在问题。请确保正确配置 Kafka 反序列化器，使用适当的实现类，并根据数据类型选择适当的反序列化器。这个报错信息表明，在配置 Kafka 连接时，Kafka 反序列化器的设置出现了问题。
flink从kafka消费数据反序列化存入hive
05-05
要将Flink从Kafka消费的数据反序列化并存入Hive，可以按照以下步骤进行操作： 1. 配置Kafka消费者和Hive连接 首先需要配置Flink的Kafka消费者和Hive连接，可以使用Flink提供的Kafka连接器和Hive连接器来实现。具体的配置可以参考Flink官方文档进行设置。 2. 设计反序列化类 根据你从Kafka消费的数据格式，需要设计一个反序列化类来将数据转换为Flink中的对象。例如，如果你从Kafka消费的是JSON格式的数据，可以使用Flink提供的JSON反序列化类进行转换。 3. 定义Hive表结构 在Hive中创建一个表来存储反序列化后的数据。你需要定义表的结构，包括列名、列类型和分区等信息。 4. 编写Flink程序 编写一个Flink程序来消费Kafka中的数据，并将数据反序列化后存入Hive表中。具体的实现可以参考以下代码示例： ```java DataStream<String> dataStream = env.addSource(new FlinkKafkaConsumer<String>( "topic", new SimpleStringSchema(), properties)); DataStream<MyObject> myObjects = dataStream.map(new MapFunction<String, MyObject>() { @Override public MyObject map(String value) throws Exception { ObjectMapper mapper = new ObjectMapper(); return mapper.readValue(value, MyObject.class); } }); HiveCatalog hiveCatalog = new HiveCatalog("myHiveCatalog", "default", "/path/to/hive/conf"); TableSchema schema = new TableSchema( new String[] {"id", "name", "age"}, new TypeInformation<?>[] {Types.STRING, Types.STRING, Types.INT}); HiveTableSink hiveTableSink = new HiveTableSink( "myDatabase.myTable", schema, hiveCatalog, new Configuration(), "myPartition"); myObjects.addSink(hiveTableSink); ``` 其中，`MyObject`是你从Kafka消费的数据反序列化后的对象，`hiveCatalog`是Hive连接器的配置信息，`schema`是Hive表的列信息，`hiveTableSink`是Hive表的输出目的地。 5. 运行Flink程序 配置好Flink程序后，就可以运行程序了。程序会从Kafka消费数据，将数据反序列化后存入Hive表中。 以上就是将Flink从Kafka消费数据反序列化存入Hive的步骤和示例代码。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值