flink 报错ByteArraySerializer is not an instance of org.apache.kafka.common.serialization.Serializer

文章讲述了在使用ApacheFlink将socket流数据写入Kafka时遇到的KafkaProducer构造失败问题,原因是由于类加载器顺序导致的dependencyconflict。解决方案是修改flink-conf.yml中的classloader.resolve-order参数为parent-first。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

问题:
  代码逻辑为从socket流中读取数据写入kafka

        Configuration conf = new Configuration();
        StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment(conf);
        env.setParallelism(4);
        env.enableCheckpointing(2000, CheckpointingMode.EXACTLY_ONCE);

        DataStreamSource<String> source = env.socketTextStream("172.18.26.53", 7777);

        KafkaSink<String> sink = KafkaSink.<String>builder()
                .setBootstrapServers("172.18.26.218:9092")
                .setRecordSerializer(
                        KafkaRecordSerializationSchema.<String>builder()
                                .setTopic("test-topic")
                                .setValueSerializationSchema(new SimpleStringSchema())
                                .build())
                .setDeliveryGuarantee(DeliveryGuarantee.EXACTLY_ONCE)
                .setTransactionalIdPrefix("cz-")
                .setProperty(ProducerConfig.TRANSACTION_TIMEOUT_CONFIG, 1 * 60 * 1000 + "")
                .build();
        source.sinkTo(sink);

        env.execute();

  命令行bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirs="hdfs://nameservice1/flink-dist" -c com.hex.cz.CZDemo examples/FlinkTutorial-1.17-1.0-SNAPSHOT.jar提交到yarn集群后报错

原因:
  查看flink作业日志yarn logs -applicationId application_1706238034141_6936

org.apache.kafka.common.KafkaException: Failed to construct kafka producer
	at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:439) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:289) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:316) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:301) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	at org.apache.flink.connector.kafka.sink.FlinkKafkaInternalProducer.<init>(FlinkKafkaInternalProducer.java:55) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	at org.apache.flink.connector.kafka.sink.KafkaWriter.getOrCreateTransactionalProducer(KafkaWriter.java:326) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	at org.apache.flink.connector.kafka.sink.TransactionAborter.abortTransactionOfSubtask(TransactionAborter.java:104) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	at org.apache.flink.connector.kafka.sink.TransactionAborter.abortTransactionsWithPrefix(TransactionAborter.java:82) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	at org.apache.flink.connector.kafka.sink.TransactionAborter.abortLingeringTransactions(TransactionAborter.java:66) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	at org.apache.flink.connector.kafka.sink.KafkaWriter.abortLingeringTransactions(KafkaWriter.java:289) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	at org.apache.flink.connector.kafka.sink.KafkaWriter.<init>(KafkaWriter.java:176) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	at org.apache.flink.connector.kafka.sink.KafkaSink.createWriter(KafkaSink.java:111) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	at org.apache.flink.connector.kafka.sink.KafkaSink.createWriter(KafkaSink.java:57) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	at org.apache.flink.streaming.runtime.operators.sink.StatefulSinkWriterStateHandler.createWriter(StatefulSinkWriterStateHandler.java:117) ~[flink-dist-1.17.0.jar:1.17.0]
	at org.apache.flink.streaming.runtime.operators.sink.SinkWriterOperator.initializeState(SinkWriterOperator.java:146) ~[flink-dist-1.17.0.jar:1.17.0]
	at org.apache.flink.streaming.api.operators.StreamOperatorStateHandler.initializeOperatorState(StreamOperatorStateHandler.java:122) ~[flink-dist-1.17.0.jar:1.17.0]
	at org.apache.flink.streaming.api.operators.AbstractStreamOperator.initializeState(AbstractStreamOperator.java:274) ~[flink-dist-1.17.0.jar:1.17.0]
	at org.apache.flink.streaming.runtime.tasks.RegularOperatorChain.initializeStateAndOpenOperators(RegularOperatorChain.java:106) ~[flink-dist-1.17.0.jar:1.17.0]
	at org.apache.flink.streaming.runtime.tasks.StreamTask.restoreGates(StreamTask.java:734) ~[flink-dist-1.17.0.jar:1.17.0]
	at org.apache.flink.streaming.runtime.tasks.StreamTaskActionExecutor$1.call(StreamTaskActionExecutor.java:55) ~[flink-dist-1.17.0.jar:1.17.0]
	at org.apache.flink.streaming.runtime.tasks.StreamTask.restoreInternal(StreamTask.java:709) ~[flink-dist-1.17.0.jar:1.17.0]
	at org.apache.flink.streaming.runtime.tasks.StreamTask.restore(StreamTask.java:675) ~[flink-dist-1.17.0.jar:1.17.0]
	at org.apache.flink.runtime.taskmanager.Task.runWithSystemExitMonitoring(Task.java:952) ~[flink-dist-1.17.0.jar:1.17.0]
	at org.apache.flink.runtime.taskmanager.Task.restoreAndInvoke(Task.java:921) ~[flink-dist-1.17.0.jar:1.17.0]
	at org.apache.flink.runtime.taskmanager.Task.doRun(Task.java:745) ~[flink-dist-1.17.0.jar:1.17.0]
	at org.apache.flink.runtime.taskmanager.Task.run(Task.java:562) ~[flink-dist-1.17.0.jar:1.17.0]
	at java.lang.Thread.run(Thread.java:748) ~[?:1.8.0_181]
Caused by: org.apache.kafka.common.KafkaException: class org.apache.kafka.common.serialization.ByteArraySerializer is not an instance of org.apache.kafka.common.serialization.Serializer
	at org.apache.kafka.common.config.AbstractConfig.getConfiguredInstance(AbstractConfig.java:403) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	at org.apache.kafka.common.config.AbstractConfig.getConfiguredInstance(AbstractConfig.java:434) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	at org.apache.kafka.common.config.AbstractConfig.getConfiguredInstance(AbstractConfig.java:419) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	at org.apache.kafka.clients.producer.KafkaProducer.<init>(KafkaProducer.java:365) ~[FlinkTutorial-1.17-1.0-SNAPSHOT.jar:?]
	... 26 more

解决:
  ByteArraySerializer存在依赖冲突,把conf目录下flink-conf.yml中的classloader.resolve-order参数由默认的child-first改成parent-first
在这里插入图片描述

在这里插入图片描述

### 关于 Kafka 中 `value.serializer` 配置项缺失的解决方案 在 Apache Flink 或其他基于 Kafka 的流处理框架中,当尝试通过 Kafka 生产者发送消息时,如果未正确设置序列化器配置,则可能会遇到类似于 `Missing required configuration 'value.serializer'` 的错误。此问题通常发生在生产环境中运行程序时,而本地开发环境可能由于默认配置的存在并未触发该异常。 以下是针对这一问题的具体分析和解决方法: #### 错误原因 Kafka 客户端需要知道如何将键(Key)和值(Value)转换为字节形式以便在网络上传输。为此,客户端依赖两个重要的配置参数: - **key.serializer**: 用于指定 Key 序列化的类名。 - **value.serializer**: 用于指定 Value 序列化的类名。 如果没有显式定义这些属性,在某些情况下(例如本地调试),系统可能会自动应用默认值;然而,在更严格的部署环境下(如集群模式下的 Flink 可视化界面),缺少必要的配置会直接导致启动失败并抛出上述错误[^2]。 #### 解决方案 为了修复这个问题,必须确保向 KafkaProducer 提供完整的配置选项。具体来说就是增加如下两行代码来分别指明 key 和 value 所使用的序列化方式: ```java props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); ``` 这里我们选择了 StringSerializer 类作为例子,它适用于大多数简单的字符串类型的 keys/values 场景。如果你的数据结构更加复杂(比如 JSON 对象或者 Avro 记录),则应该替换相应的 Serializer 实现类以匹配实际需求。 另外值得注意的是,尽管异步生产者的回调功能直到 Kafka 版本 0.9 才被提议加入支持[^1],但这并不影响当前对于同步/异步两种模式下都需要提供 serializer 设置的要求。 因此无论采用何种工作流程设计,请始终记得检查所有必需的连接参数已被正确定义好再提交作业到远程执行节点上。 #### 示例代码片段 下面给出一段完整初始化 Kafka Producer 并包含必要序列化设定的例子: ```java Properties props = new Properties(); // ... other configurations ... props.put("bootstrap.servers", "localhost:9092"); // broker list props.put("acks", "all"); props.put("retries", 0); props.put("batch.size", 16384); props.put("linger.ms", 1); // Set serializers explicitly here. props.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); props.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); Producer<String, String> producer = new KafkaProducer<>(props); ``` 以上展示了如何创建一个带有适当序列化机制的新实例对象的过程。 ---
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

但行益事莫问前程

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值