一个kafka的bug：StringDeserializer could not be found ，kafka 版 2.6.6

最新推荐文章于 2023-12-15 20:34:48 发布
原创 最新推荐文章于 2023-12-15 20:34:48 发布 · 745 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文记录了升级到Kafka 2.6.6版本后遇到的问题及解决过程。尝试了多种方案，最终通过调整pom文件中kafka-clients依赖的范围为provided来解决问题。

近期用了个新版本的 spring-boot：

所以 kafka 也上到了 2.6.6 ，于是乎遇到了题目上的问题，全网大部分的解决方案见下链接：

https://www.it610.com/article/1294134785026891776.htm

https://blog.youkuaiyun.com/yixiaoqi2010/article/details/88987929

https://stackoverflow.com/questions/37363119/kafka-producer-org-apache-kafka-common-serialization-stringserializer-could-no/50981469#50981469

这个：

https://stackoverflow.com/questions/43331225/springxd-error-when-deploying-stream-stringdeserializer-class-could-not-be-foun

解决方式比较特殊：“I resolved my problem as follows: After having replaced the kafka-clients PLUS having added provided scope to the kafka-clients dependency in my pom file, my consumer is working properly (so far)”   

没有实践成功

 

https://blog.youkuaiyun.com/Crystalqy/article/details/94830862?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.control&dist_request_id=1328655.10626.16158822443747085&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.control

 

 

 

 

 

 

 

序列化与反序列化
hyj
04-24 802
一、概念 1、序列化 将数据结构转换称为二进制数据流或者文本流的过程。序列化后的数据方便在网络上传输和在硬盘上存储。 2、反序列化 与序列化相反，是将二进制数据流或者文本流转换称为易于处理和阅读的数据结构的过程。 3、序列化的意义 计算机往往是根据二进制来区分数据的，例如一个字节、两个字节、三个字节等等。由于在内存中或者磁盘上，或者平台的环境不同，为了方便数据在不同的地方能够具有相同的...
【Kafka】Kafka IllegalArgumentException: Could not find a ‘KafkaClient‘ entry in the JAAS configuratio
九师兄
08-07 2294
1.背景 [lcc@lcc ~/soft/kafka/kafka_2.11-1.1.0_author]$ export KAFKA_OPTS="-Djava.security.auth.login.config=/Users/lcc/soft/kafka/kafka_2.11-1.1.0_author/config/kafka_client_jaas.conf" [lcc@lcc ~/soft/kafka/kafka_2.11-1.1.0_author]$ [lcc@lcc ~/soft/kafka/k.
kafka消费者报错：Class org.apache.kafka.common.serialization.StringDeserializer could not be found.
yixiaoqi2010的专栏
04-03 1万+
org.apache.kafka.common.config.ConfigException: Invalid value org.apache.kafka.common.serialization.StringDeserializer for configuration key.deserializer: Class org.apache.kafka.common.serialization.S...
SparkStreaming消费kafka数据时出现序列化问题 org.apache.kafka.common.serialization.StringDeserializer could not b
weixin_46376562的博客
06-22 1764
查了好多资料，说什么类加载机制什么的，但改了依然无效，经查阅Spark官方文档和kafka官方的文档后，得以解决，不得不说，官方文档还是厉害环境，pom文件如下： IntelliJ IDEA 2022.1.2 (Ultimate Edition) 官方文档 kafka 官方文档 SparkStreaming 官方文档 报错写法（后来也是可以用的）......
求教大神解答 SparkStreaming链接kafka时候序列化报错
weixin_39321548的博客
09-26 589
Caused by: java.lang.ClassNotFoundException: org.apache.kafka.common.serialization.StringDeserializer 查询了很多文章也依旧没有找到答案 以下附上我的测试代码： import org.apache.kafka.common.serialization.StringDese...
springboot集成kafka消费者序列化问题报错*is not an instance of org.apache.kafka.common.serialization.Deserializer
wfanking的博客
03-11 2万+
前言：之前博客里面提到本公司为物联网项目。项目中使用mqtt+kafka进行与设备端的通讯，之前的协议格式为json格式，现在改成字节数组byte[]格式进行通信。 报错信息如下 org.apache.kafka.common.serialization.ByteArraySerializer is not an instance of org.apache.kafka.common.seri...
kafka报错: (localhost/127.0.0.1:9092) could not be established. Broker may not be available.
龙飞的博客
11-14 5318
具体报错:[Producer clientId=console-producer] Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available. (org.apache.kafka.clients.NetworkClient)从上述结果来看，是报错和配置里面的地址有关系，只需要改用配置里的hostname启动就好了。之后输入数据回车报错。
kafka启动失败：Unrecognized option: - Error: Could not create the Java Virtual Machine.
星球奋斗者
12-15 1463
服务器的堆外内存大小和堆内存大小），修改后不能手动换行，应该让系统自动换行，所以可能导致出现上面的错误。”是实验性的，必须通过**-XX:+UnlockExperimental**启用）文件，进入文件中修改相关配置，可以修改。环境变量**，用于设置。
kafka 问题 (localhost/127.0.0.1:9092) could not be established. Broker may not be availab
water
03-25 2667
kafka 问题 (localhost/127.0.0.1:9092) could not be established. Broker may not be availab 重新配置kafka的配置文件config/server.properties advertised.listeners才是真正的对外代理地址！ 那么listeners的作用就不是对外提供服务代理，而是监听！ # 允许外部端口连接 listeners = PLAINTEXT://0.0.0.0:9092 # 外部代理地址 adverti
【牛客社区项目】 springboot整合kafka问题 Connection to node -1 (localhost/127.0.0.1:9092) could not be establis
兔兔子的编程日记
08-26 2064
Connection to node -1 (localhost/127.0.0.1:9092) could not be established. Broker may not be available.
kafka 反序列化异常：org.apache.kafka.common.errors.SerializationException
热门推荐
Crystalqy的博客
07-06 2万+
Spring boot集成kafka时候，能够正常发送消息，但是接受消息时，报错org.apache.kafka.common.errors.SerializationException，提示序列化错误(自定义的消息对象不在kafka信任的包路径下) org.apache.kafka.common.errors.SerializationException: Error deserializ...
kafka自定义序列化器
LINBE_blazers的博客
01-22 946
在Kafka的生产者与消费者API中，生产者需要用序列化器（Serializer）把对象转换成字节数组才能通过网络发送给kafka，同时消费者也需要用反序列化器（Deserializer）把从Kafka中收到的字节数组转换转换成相应的对象。为使开发者方便地使用序列化器，Kafka自身已经封装了一个序列化器org.apache.kafka.common.serialization.StringSer...
kafka的序列化器和拦截器
Java技术攻略的博客
03-29 718
本篇主要介绍kafka的拦截器和序列化器，序列化器是和数据在网络中的传输有关，数据在网络中的传输为字节流，所以生产者在发送时需要将其序列化为字节流，消费者收到消息时，需要将字节流反序列化为我们能够识别的对象，我们不难看出，这就是RPC通信，kafka中实现了很多自定义协议，我们知道，在RPC通信中，只有生产者和消费者的协议一样，才能相互传输和解析数据，在使用HTTP时，我们就不用去关注协议本身，因为HTTP是TCP的上层建筑，它自己实现了一套协议，我们不用去关注，但是使用RPC，我们是面向TCP编程，所以自
深入理解 Kafka 读书笔记 5 -- 序列化器
晨猫
07-14 449
深入理解 Kafka 读书笔记 5 – 序列化器 概念 生产者需要用序列化器把对象转换成字节数组才能通过网络发送给 Kafka 服务器 消费者需要用反序列化器把从 Kafka 服务器中收到的字节数组转换成相应的对象 序列化器与反序列化器需要一一对应 序列化器需要实现 org.apache.kafka.common.serialization.Serializer 接口 反序列化器需要实现 org.apache.kafka.common.serialization.Deserializer 接口 kafka
关于kafka中的反序列化
Lestat.Z.的博客
05-12 3912
Deserializers前言Custom deserializers使用Avro反序列化与Kafka消费者参考资料 前言 Kafka生产者需要序列化程序将对象转换为字节数组，然后发送到Kafka。 同样，Kafka消费者需要使用反序列化器将从Kafka收到的字节数组转换为Java对象。 在前面的示例中，我们假设每个消息的键和值都是字符串，我们在消费者配置中使用了默认的StringDeserial...
9.反序列化
，
07-05 565
反序列化 在第四节中讲述了 KafkaProducer 对应的序列化器，那么与此对应的 KafkaConsumer 就会有反序列化器。Kafka 所提供的反序列化器有 ByteBufferDeserializer、ByteArrayDeserializer、BytesDeserializer、DoubleDeserializer、FloatDeserializer、IntegerDeseriali...
Spring Kafka cannot find Kafka Properties Bean
u011250186的博客
08-10 957
spring kafka整合报错
09_反序列化
一个搬砖工人
11-22 483
我们讲述了 KafkaProducer 对应的序列化器，那么与此对应的 KafkaConsumer 就会有反序列化器。Kafka 所提供的反序列化器有 ByteBufferDeserializer、ByteArrayDeserializer、BytesDeserializer、DoubleDeserializer、FloatDeserializer、IntegerDeserializer、LongDeserializer、ShortDeserializer、StringDeserializer，它们分别用于
kafka复习：（3）自定义序列化器和反序列化器
amadeus_liu2的博客
08-23 1416
二、自定义序列化器和反序列化器。三、定义生产者和消费者。
Unit kafka.service could not be found.
最新发布
09-06
参考提供的内容，未提及解决 'Unit kafka.service could not be found' 错误的方法。不过可以从常见的系统服务管理角度给出一些可能的解决思路。 这个错误通常表示系统无法找到 `kafka.service` 单元文件，以下是一些可能的解决方法： ### 检查 Kafka 服务文件是否存在 在 Linux 系统中，服务单元文件通常存放在 `/etc/systemd/system/` 或 `/usr/lib/systemd/system/` 目录下。可以使用以下命令检查 `kafka.service` 文件是否存在： ```bash ls /etc/systemd/system/kafka.service ls /usr/lib/systemd/system/kafka.service ``` ### 重新创建或安装 Kafka 服务文件 如果文件不存在，可能需要重新创建或从 Kafka 安装包中重新安装服务文件。 ### 重新加载 systemd 管理器配置 如果已经确认服务文件存在，但仍然出现该错误，可以尝试重新加载 systemd 管理器配置： ```bash systemctl daemon-reload ``` ### 检查 Kafka 是否正确安装 确保 Kafka 已经正确安装，并且安装过程中创建了 `kafka.service` 文件。可以重新安装 Kafka 来解决这个问题。 ### 手动创建服务文件 如果以上方法都无法解决问题，可以手动创建 `kafka.service` 文件。以下是一个简单的示例： ```plaintext [Unit] Description=Apache Kafka Server After=network.target zookeeper.service [Service] Type=simple Environment="JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-amd64" ExecStart=/path/to/kafka/bin/kafka-server-start.sh /path/to/kafka/config/server.properties ExecStop=/path/to/kafka/bin/kafka-server-stop.sh [Install] WantedBy=multi-user.target ``` 将上述内容保存为 `/etc/systemd/system/kafka.service`，然后重新加载 systemd 管理器配置并启动 Kafka 服务： ```bash systemctl daemon-reload systemctl start kafka.service ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值