一个kafka的bug：StringDeserializer could not be found ，kafka 版 2.6.6

最新推荐文章于 2025-05-11 10:24:53 发布
原创 最新推荐文章于 2025-05-11 10:24:53 发布 · 712 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文记录了升级到Kafka 2.6.6版本后遇到的问题及解决过程。尝试了多种方案，最终通过调整pom文件中kafka-clients依赖的范围为provided来解决问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

近期用了个新版本的 spring-boot：

所以 kafka 也上到了 2.6.6 ，于是乎遇到了题目上的问题，全网大部分的解决方案见下链接：

https://www.it610.com/article/1294134785026891776.htm

https://blog.youkuaiyun.com/yixiaoqi2010/article/details/88987929

https://stackoverflow.com/questions/37363119/kafka-producer-org-apache-kafka-common-serialization-stringserializer-could-no/50981469#50981469

这个：

https://stackoverflow.com/questions/43331225/springxd-error-when-deploying-stream-stringdeserializer-class-could-not-be-foun

解决方式比较特殊：“I resolved my problem as follows: After having replaced the kafka-clients PLUS having added provided scope to the kafka-clients dependency in my pom file, my consumer is working properly (so far)”   

没有实践成功

 

https://blog.youkuaiyun.com/Crystalqy/article/details/94830862?utm_medium=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.control&dist_request_id=1328655.10626.16158822443747085&depth_1-utm_source=distribute.pc_relevant.none-task-blog-BlogCommendFromMachineLearnPai2-1.control

 

 

 

 

 

 

 

RedHat6.5虚拟机架设Redis和Kafka伪集群（2018.8.21最新重要补充！）
ghbfgb的博客
09-10 2054
架设Redis: 虚拟机架设，桥接模式下要保证实体机能上网，这样虚拟机才会分配到一个ip(这里是192.168.43.105),方便下面的集群配置每个节点ip,伪集群都设置成一个， 但要保证这个ip网络畅通，cluster的各个节点才可按照该ip彼此访问.   普通用户xiaobai,copy Redis.tar文件，解压到/usr/local失败：     Linux怎么在文件系统...
kafka的序列化器和拦截器
Java技术攻略的博客
03-29 676
本篇主要介绍kafka的拦截器和序列化器，序列化器是和数据在网络中的传输有关，数据在网络中的传输为字节流，所以生产者在发送时需要将其序列化为字节流，消费者收到消息时，需要将字节流反序列化为我们能够识别的对象，我们不难看出，这就是RPC通信，kafka中实现了很多自定义协议，我们知道，在RPC通信中，只有生产者和消费者的协议一样，才能相互传输和解析数据，在使用HTTP时，我们就不用去关注协议本身，因为HTTP是TCP的上层建筑，它自己实现了一套协议，我们不用去关注，但是使用RPC，我们是面向TCP编程，所以自
kafka消费者报错：Class org.apache.kafka.common.serialization.StringDeserializer could not be found.
yixiaoqi2010的专栏
04-03 1万+
org.apache.kafka.common.config.ConfigException: Invalid value org.apache.kafka.common.serialization.StringDeserializer for configuration key.deserializer: Class org.apache.kafka.common.serialization.S...
SparkStreaming消费kafka数据时出现序列化问题 org.apache.kafka.common.serialization.StringDeserializer could not b
weixin_46376562的博客
06-22 1721
查了好多资料，说什么类加载机制什么的，但改了依然无效，经查阅Spark官方文档和kafka官方的文档后，得以解决，不得不说，官方文档还是厉害环境，pom文件如下： IntelliJ IDEA 2022.1.2 (Ultimate Edition) 官方文档 kafka 官方文档 SparkStreaming 官方文档 报错写法（后来也是可以用的）......
深入Kafka：创建消费者和生产者实例指南
最新发布
weixin_28888459的博客
05-11 917
Kafka在数据流处理中担当着"消息中间件"的角色，它允许发布和订阅流式数据，类似于传统消息系统的设计，但专为高吞吐量、分布式环境而设计。通过使用Kafka，我们可以构建各种实时的管道和流应用程序，这些应用程序可以可靠地处理大量数据。在Kafka中，生产者（Producer）是负责将数据发送到Kafka集群的消息系统。数据通常被组织成一系列的消息，消息可以理解为具有特定主题（Topic）的一段数据记录。生产者的作用是将这些记录按照既定的格式发送到指定的主题中。生产者的关键职责包括：消息格式化。
求教大神解答 SparkStreaming链接kafka时候序列化报错
weixin_39321548的博客
09-26 574
Caused by: java.lang.ClassNotFoundException: org.apache.kafka.common.serialization.StringDeserializer 查询了很多文章也依旧没有找到答案 以下附上我的测试代码： import org.apache.kafka.common.serialization.StringDese...
springboot集成kafka消费者序列化问题报错*is not an instance of org.apache.kafka.common.serialization.Deserializer
wfanking的博客
03-11 2万+
前言：之前博客里面提到本公司为物联网项目。项目中使用mqtt+kafka进行与设备端的通讯，之前的协议格式为json格式，现在改成字节数组byte[]格式进行通信。 报错信息如下 org.apache.kafka.common.serialization.ByteArraySerializer is not an instance of org.apache.kafka.common.seri...
kafka自定义序列化器
LINBE_blazers的博客
01-22 876
在Kafka的生产者与消费者API中，生产者需要用序列化器（Serializer）把对象转换成字节数组才能通过网络发送给kafka，同时消费者也需要用反序列化器（Deserializer）把从Kafka中收到的字节数组转换转换成相应的对象。为使开发者方便地使用序列化器，Kafka自身已经封装了一个序列化器org.apache.kafka.common.serialization.StringSer...
深入理解 Kafka 读书笔记 5 -- 序列化器
晨猫
07-14 429
深入理解 Kafka 读书笔记 5 – 序列化器 概念 生产者需要用序列化器把对象转换成字节数组才能通过网络发送给 Kafka 服务器 消费者需要用反序列化器把从 Kafka 服务器中收到的字节数组转换成相应的对象 序列化器与反序列化器需要一一对应 序列化器需要实现 org.apache.kafka.common.serialization.Serializer 接口 反序列化器需要实现 org.apache.kafka.common.serialization.Deserializer 接口 kafka
关于kafka中的反序列化
Lestat.Z.的博客
05-12 3787
Deserializers前言Custom deserializers使用Avro反序列化与Kafka消费者参考资料 前言 Kafka生产者需要序列化程序将对象转换为字节数组，然后发送到Kafka。 同样，Kafka消费者需要使用反序列化器将从Kafka收到的字节数组转换为Java对象。 在前面的示例中，我们假设每个消息的键和值都是字符串，我们在消费者配置中使用了默认的StringDeserial...
9.反序列化
，
07-05 533
反序列化 在第四节中讲述了 KafkaProducer 对应的序列化器，那么与此对应的 KafkaConsumer 就会有反序列化器。Kafka 所提供的反序列化器有 ByteBufferDeserializer、ByteArrayDeserializer、BytesDeserializer、DoubleDeserializer、FloatDeserializer、IntegerDeseriali...
Spring Kafka cannot find Kafka Properties Bean
u011250186的博客
08-10 910
spring kafka整合报错
09_反序列化
一个搬砖工人
11-22 434
我们讲述了 KafkaProducer 对应的序列化器，那么与此对应的 KafkaConsumer 就会有反序列化器。Kafka 所提供的反序列化器有 ByteBufferDeserializer、ByteArrayDeserializer、BytesDeserializer、DoubleDeserializer、FloatDeserializer、IntegerDeserializer、LongDeserializer、ShortDeserializer、StringDeserializer，它们分别用于
kafka复习：（3）自定义序列化器和反序列化器
amadeus_liu2的博客
08-23 1382
二、自定义序列化器和反序列化器。三、定义生产者和消费者。
7. kafka序列化&反序列化
阿飞Javaer的专栏
07-04 1万+
序列化 kafka序列化消息是在生产端，序列化后，消息才能网络传输。而构造KafkaProducer代码如下： Properties props = new Properties(); props.put("bootstrap.servers", "10.0.55.229:9092"); props.put("key.serializer", "org.apache.kafka.commo...
ObjectMapper反序列化把 int 转为 String
weixin_39651041的博客
08-14 1756
测试提了一个 bug，使用 API 接口进行认证时，传入的请求参数类型错误，但认证成功了。 POST 请求，body 参数如下： { "username": "test", "password": 111111 } 预期：参数校验失败，提示 “password” 只支持字符串类型。 实际：认证成功了。 原有的处理逻辑如下： public class Test { public static void main(String[] args) throws JsonProcessingExcep
kafka报错“Dependency ‘org.apache.kafka:kafka-clients:3.0.0‘ not found”
weixin_57967436的博客
04-11 4485
解决方案，下载安装kafka的jr并将其导入到IDEA的SDK中即可正常使用： 2022/4/11 19：27
序列化与反序列化
hyj
04-24 761
一、概念 1、序列化 将数据结构转换称为二进制数据流或者文本流的过程。序列化后的数据方便在网络上传输和在硬盘上存储。 2、反序列化 与序列化相反，是将二进制数据流或者文本流转换称为易于处理和阅读的数据结构的过程。 3、序列化的意义 计算机往往是根据二进制来区分数据的，例如一个字节、两个字节、三个字节等等。由于在内存中或者磁盘上，或者平台的环境不同，为了方便数据在不同的地方能够具有相同的...
kafka自定义消息序列化和反序列化方式
热门推荐
shirukai
08-28 3万+
kafka自定义消息序列化和反序列化方式 版本说明： kafka版本：kafka_2.12-2.0.0.tgz pom依赖： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</
-bash: kafka-: command not found
04-02
### 配置 Kafka 以避免 Bash 中 Command Not Found 错误 在 Linux 系统中，如果遇到 `command not found` 的错误，通常是因为环境变量 PATH 中缺少指向 Kafka 命令的路径。以下是具体的解决方案： #### 修改环境变量 PATH 为了使系统能够识别 Kafka 命令，需要将其安装目录下的 `bin` 文件夹路径添加到系统的 PATH 变量中。可以通过编辑用户的 `.bashrc` 或者全局 `/etc/profile` 文件来实现。 ```bash export KAFKA_HOME=/path/to/kafka # 替换为实际的 Kafka 安装路径[^1] export PATH=$KAFKA_HOME/bin:$PATH ``` 上述代码片段应被追加至用户主目录中的 `.bashrc` 文件或者全局配置文件 `/etc/profile` 中。完成此操作后，需重新加载该文件以便更改生效。 ```bash source ~/.bashrc # 或者对于全局配置 source /etc/profile ``` #### 处理潜在的 Shell 脚本兼容性问题 有时即使设置了正确的 PATH，仍然可能由于脚本本身的编码差异引发执行失败的情况。这通常是因 Windows 和 Unix/Linux 行结束符的不同所致[^2]。可以利用工具如 `dos2unix` 来转换这些脚本文件的行结束符，从而消除此类冲突。 ```bash sudo apt-get install dos2unix # 如果尚未安装的话先进行安装 cd $KAFKA_HOME/bin # 进入 Kafka bin 目录 dos2unix *.sh # 将所有的 .sh 文件从 DOS 格式转成 UNIX 格式 ``` 通过以上步骤，应该能有效解决 bash 下 kafka command not found 的问题，并确保所有相关 shell 脚本能正常工作于 Linux 平台上。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值