kafka：springboot集成kafka，并完成单机版安装

最新推荐文章于 2025-04-20 14:00:00 发布
最新推荐文章于 2025-04-20 14:00:00 发布
阅读量1.2k 收藏
点赞数 1
分类专栏： kafka springBoot 文章标签： kafka springboot集成kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_38750084/article/details/90745184
版权
本文介绍了在SpringBoot项目中集成Kafka时遇到的版本不兼容问题及解决方法。通过调整Kafka版本至2.2.0，升级JDK至1.8，解决了启动和发送消息超时的问题。同时提供了相关资源链接和配置说明。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

因为我的环境：

springboot版本：

<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>2.0.4.RELEASE</version>
		<relativePath/> <!-- lookup parent from repository -->
	</parent>

kafka的依赖：

 <!--这里不需要设置依赖包的版本也可，spring-boot-starter-parent已经帮我们添加了版本的管理。但是最好自己要加上，最好和kafka环境上的版本一致-->
        <dependency>
            <groupId>org.springframework.kafka</groupId>
            <artifactId>spring-kafka</artifactId>
            <version>2.1.7.RELEASE</version>
        </dependency>
    </dependencies>

我一开始安装的是0.8版本的kafka，安装jdk是1.7的，导致我一启动springboot时，kafka就一直报错如下，同时也不可以send消息，总是timeout：


[2019-06-02 18:40:03,639] ERROR Closing socket for /10.10.10.63 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18
	at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:57)
	at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
	at kafka.network.Processor.read(SocketServer.scala:353)
	at kafka.network.Processor.run(SocketServer.scala:245)
	at java.lang.Thread.run(Thread.java:745)
[2019-06-02 18:40:04,794] ERROR Closing socket for /10.10.10.63 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18
	at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:57)
	at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
	at kafka.network.Processor.read(SocketServer.scala:353)
	at kafka.network.Processor.run(SocketServer.scala:245)
	at java.lang.Thread.run(Thread.java:745)
[2019-06-02 18:40:05,647] ERROR Closing socket for /10.10.10.63 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18
	at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:57)
	at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
	at kafka.network.Processor.read(SocketServer.scala:353)
	at kafka.network.Processor.run(SocketServer.scala:245)
	at java.lang.Thread.run(Thread.java:745)
[2019-06-02 18:40:06,653] ERROR Closing socket for /10.10.10.63 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18
	at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:57)
	at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
	at kafka.network.Processor.read(SocketServer.scala:353)
	at kafka.network.Processor.run(SocketServer.scala:245)
	at java.lang.Thread.run(Thread.java:745)
[2019-06-02 18:40:07,512] ERROR Closing socket for /10.10.10.63 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18
	at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:57)
	at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
	at kafka.network.Processor.read(SocketServer.scala:353)
	at kafka.network.Processor.run(SocketServer.scala:245)
	at java.lang.Thread.run(Thread.java:745)
[2019-06-02 18:40:08,617] ERROR Closing socket for /10.10.10.63 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18
	at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:57)
	at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
	at kafka.network.Processor.read(SocketServer.scala:353)
	at kafka.network.Processor.run(SocketServer.scala:245)
	at java.lang.Thread.run(Thread.java:745)
[2019-06-02 18:40:09,771] ERROR Closing socket for /10.10.10.63 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18
	at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:57)
	at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
	at kafka.network.Processor.read(SocketServer.scala:353)
	at kafka.network.Processor.run(SocketServer.scala:245)
	at java.lang.Thread.run(Thread.java:745)
[2019-06-02 18:40:10,677] ERROR Closing socket for /10.10.10.63 because of error (kafka.network.Processor)
kafka.common.KafkaException: Wrong request type 18
	at kafka.api.RequestKeys$.deserializerForKey(RequestKeys.scala:57)
	at kafka.network.RequestChannel$Request.<init>(RequestChannel.scala:50)
	at kafka.network.Processor.read(SocketServer.scala:353)
	at kafka.network.Processor.run(SocketServer.scala:245)
	at java.lang.Thread.run(Thread.java:745)

[root@sparkproject1 local]# 
[root@sparkproject1 local]#

分析原因：应该是用高版本的kafka client向0.8.1的kafka server端发送数据，版本不兼容的问题。

后来我就把kafka更换版本为：

kafka_2.11-2.2.0

启动报错说我jdk版本低，kafka不能启动起来，所以我又将jdk版本换为1.8，然后kafka就可以顺利启动了。

jdk下载（我的是linux 32位）：

https://download.youkuaiyun.com/download/qq_40580023/10754106

64位：

https://download.youkuaiyun.com/download/yang8468/10531023?utm_source=bbsseo

官网：

https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

springboot项目启动也不报错，同时kafka也可以收到消息：

使用kafkatool工具查看：

 

kafka新版本消费者启动命令：

bin/​​​​​​​kafka-console-consumer.sh --bootstrap-server sparkproject1:9092 --topic TestTopic--from-beginning

 

 

参考：

版本不兼容报错问题参考：

https://blog.youkuaiyun.com/zhuimeng_by/article/details/83589512

 

 

kafka新版本消费者启动命令参考：

https://blog.youkuaiyun.com/csdn_sunlighting/article/details/81516646

https://www.jianshu.com/p/80a10811d5cb

其他：

https://www.baidu.com/link?url=seUzu-w-TEYsSLforsBdKn8tqgXVLv2HTq7I3WvvlZPJ1bVIA-L6WtYrs1WRHzxS3EIYBAFTWd5HuFpbHLJNPa&wd=&eqid=da66f55800003fe0000000035cf3ae85

https://www.cnblogs.com/kangoroo/p/7353330.html

https://blog.youkuaiyun.com/lv_1093964643/article/details/83177280

kafka配置说明：

https://www.cnblogs.com/rilley/p/5391268.html

 

 

springboot整合kafka过程中出现的一个错误：

 

springboot版本：

<parent>
		<groupId>org.springframework.boot</groupId>
		<artifactId>spring-boot-starter-parent</artifactId>
		<version>2.0.4.RELEASE</version>
		<relativePath/> <!-- lookup parent from repository -->
	</parent>


kafka版本：

<dependency>
          <groupId>org.springframework.kafka</groupId>
          <artifactId>spring-kafka</artifactId>
          <version>1.1.1.RELEASE</version>
      </dependency>

启动报错：

D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\bin\java.exe -agentlib:jdwp=transport=dt_socket,address=127.0.0.1:54880,suspend=y,server=n -javaagent:C:\Users\Administrator\.IdeaIC2018.2\system\captureAgent\debugger-agent.jar=file:/C:/Users/Administrator/AppData/Local/Temp/capture.props -Dfile.encoding=UTF-8 -classpath "D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\charsets.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\deploy.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\ext\access-bridge-64.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\ext\cldrdata.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\ext\dnsns.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\ext\jaccess.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\ext\jfxrt.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\ext\localedata.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\ext\nashorn.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\ext\sunec.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\ext\sunjce_provider.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\ext\sunmscapi.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\ext\sunpkcs11.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\ext\zipfs.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\javaws.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\jce.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\jfr.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\jfxswt.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\jsse.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\management-agent.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\plugin.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\resources.jar;D:\Aimsen\myDevelopKit\1.software\jdk\64位\1.8\jdk-8-windows-x64\jre\lib\rt.jar;D:\workspace\dubbospringboot\dubbo-provider\target\classes;D:\workspace\dubbospringboot\dubbo-dao\target\classes;D:\workspace\dubbospringboot\dubbo-api\target\classes;D:\repository\log4j\log4j\1.2.17\log4j-1.2.17.jar;D:\workspace\dubbospringboot\dubbo-common\target\classes;D:\repository\org\apache\commons\commons-lang3\3.7\commons-lang3-3.7.jar;D:\repository\com\alibaba\fastjson\1.2.49\fastjson-1.2.49.jar;D:\repository\com\belerweb\pinyin4j\2.5.0\pinyin4j-2.5.0.jar;D:\repository\org\springframework\boot\spring-boot-starter-web\2.0.4.RELEASE\spring-boot-starter-web-2.0.4.RELEASE.jar;D:\repository\org\springframework\boot\spring-boot-starter\2.0.4.RELEASE\spring-boot-starter-2.0.4.RELEASE.jar;D:\repository\org\springframework\boot\spring-boot\2.0.4.RELEASE\spring-boot-2.0.4.RELEASE.jar;D:\repository\org\springframework\boot\spring-boot-autoconfigure\2.0.4.RELEASE\spring-boot-autoconfigure-2.0.4.RELEASE.jar;D:\repository\org\springframework\boot\spring-boot-starter-logging\2.0.4.RELEASE\spring-boot-starter-logging-2.0.4.RELEASE.jar;D:\repository\ch\qos\logback\logback-classic\1.2.3\logback-classic-1.2.3.jar;D:\repository\ch\qos\logback\logback-core\1.2.3\logback-core-1.2.3.jar;D:\repository\org\apache\logging\log4j\log4j-to-slf4j\2.10.0\log4j-to-slf4j-2.10.0.jar;D:\repository\org\apache\logging\log4j\log4j-api\2.10.0\log4j-api-2.10.0.jar;D:\repository\org\slf4j\jul-to-slf4j\1.7.25\jul-to-slf4j-1.7.25.jar;D:\repository\javax\annotation\javax.annotation-api\1.3.2\javax.annotation-api-1.3.2.jar;D:\repository\org\yaml\snakeyaml\1.19\snakeyaml-1.19.jar;D:\repository\org\springframework\boot\spring-boot-starter-json\2.0.4.RELEASE\spring-boot-starter-json-2.0.4.RELEASE.jar;D:\repository\com\fasterxml\jackson\core\jackson-databind\2.9.6\jackson-databind-2.9.6.jar;D:\repository\com\fasterxml\jackson
最低0.47元/天 解锁文章
springboot集成kafka（docker）
wayhb的专栏
01-13 1258
springboot集成kafka一篇看懂kakfadocker部署kafka集群编写docker-compose.yml启动kafka集群查看是否成功搭建springboot项目简单使用kafka 一篇看懂kakfa kafka概念理论看这篇：大白话 kafka 架构原理 docker部署kafka集群 前提 安装docker与docker-compose 拉镜像 docker pull wurstmeister/kafka docker pull zookeeper 搭建kafka集群 编写d
docker：安装kafka单机版
不花的花和尚的博客
06-04 5570
注意： 我这里需要springboot集成kafka，所以需要安装。集成会有报错，解决见最后。 kafka依赖zookeeper，需要先安装zk，参考： https://blog.csdn.net/weixin_38750084/article/details/90548149 第一步： 搜索镜像 docker search kafka 查看有哪些镜像可用。 [root@Maste...
springboot集成kafka
06-28
springboot kafka
springboot kafka spring boot搭建 单机 集群 集成入门
木秀林的博客
04-03 560
搭建kafka (单机版) 使用虚拟机 + docker 参考 https://blog.csdn.net/qq_35394891/article/details/84349955 拉取镜像 (kafka 依赖zookeeper ,所有两个都要) docker pull wurstmeister/zookeeper docker pull wurstmeister/kafka:2.12...
SpringBoot集成Kafka详解
最新发布
qq_50847694的博客
04-20 1798
在Spring Boot项目中集成Kafka，首先需要确保Kafka服务器已经启动并正常运行。然后，通过引入 Kafka依赖，编写yml配置，创建Kafka生产者和消费者。最后通过接口调用，实现消息发送和消费。
SpringBoot 集成单个Kafka
ruanhao1203的专栏
07-11 599
此文章介绍了最简单的SpringBoot集成kafka的例子
kafka单机环境搭建以及springboot整合
Amazing66的博客
12-13 1693
kafka单机环境搭建 虚拟机版本是 centos7 64位 tar包下载 进入到cd /usr/local目录下 使用wget命令从官网下载压缩包文件 下载bin文件 不要下载源码文件 wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.12-3.0.0.tgz 这个是2.12版本的 解压 tar -zxvf xxxxxxx（tar包名称） 修改配置文件 cd /usr/local/kafka_2.12-3.0.0/config 修改server
百分百成功 springboot2.x整合kafka单机版和伪集群，附示例代码和相关资源
qq_44909430的博客
02-27 575
注意：springboot版本和kafka版本存在对应关系， kafka的启动需要依赖zookeeper和jdk，请确认你的虚拟机是否安装了这些 springboot版本我选择的是2.1.12.RE kafka的版本我选择2.12.1.0.0 zookeeper的版本是3.4.10 jdk的版本是8u241也就是jdk1.8.0_241 单机版的kafka我将用docker启动， 伪集群将在一台虚...
kafka集群搭建&SpringBoot整合kafka2.5
jiayoubing的专栏
05-22 1458
一、kafka简介 Kafka最初由Linkedin公司开发，是一个分布式的、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常用于web/nginx日志、访问日志、消息服务等等，Linkedin于2010年贡献给了Apache基金会并成为顶级开源项目。 二、kafka的特性 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒； 可扩展性：kafka集群支持热扩展； 持久性、可靠性：消息被持久化到本地磁盘，并且支持数据备份防止丢.
Spring Boot集成Kafka
流水不腐小夏
11-26 1万+
Spring Boot集成Kafka Spring Boot集成Kafka 前提介绍 Kafka 简介 Topics & logs Distribution Producers Consumers Guarantees Kafka安装与使用 安装 服务启动 Topic 消息发送与消费 Spring Boot集成 开始 配置 代码 总结 参考资料 前提介绍由于公司使用了微服务架构，很多业务拆成
关于 springboot 集成 kafka 单机部署的尝试
weixin_36223016的博客
06-04 929
关于 springboot 集成 kafka 单机部署的尝试一.环境搭建    1. 使用 CentOS 7    2. 安装 jdk  1.8    3.安装 Zookeeper ，下载地址 http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/    解压至安装目录    ...
canal+spring的集成
04-25
canal+spring的集成和封装，灵活使用,整合内容包含服务方，消费方 canal消费方采用策略模式，将不同表的数据分配到相应的Process类中。定义BaseProcess抽象类，包含processInsert、processUpdate、processDelete三个抽象方法，分别用于处理三种类型的数据操作。
Kafka 2.9 版本 jdk1.7+
04-10
大数据 消息队列 Kafka 2.9 版本 jdk1.7+ 解压后直接使用
Springboot Kafka 快速入门
思考、总结、专注
04-25 851
pom依赖12345678910&lt;dependency&gt;    &lt;groupId&gt;org.apache.kafka&lt;/groupId&gt;    &lt;artifactId&gt;kafka-clients&lt;/artifactId&gt;    &lt;version&gt;0.10.2.0&lt;/version&gt;&lt;/dependenc
springboot整合kafka(window版kafka简单向)
Hi_bernate的博客
03-07 1782
看了好多整合都没有说要下载kafka，弄了好久都没弄出来，这里需要下载zookeeper和kafka kafka：http://kafka.apache.org/downloads.html zookeeper：http://zookeeper.apache.org/releases.html#download 第一步开启两个服务：开启zookeeper下的/bin/zkServer.cmd...
Springboot 配置使用 Kafka
热门推荐
friggly的博客
02-22 1万+
As we all know，当今世界最流行的消息中间件有 RabbitMq、RocketMq、Kafka，其中，应用最广泛的是 RabbitMq，RocketMq 是阿里巴巴的产品，性能超过 RabbitMq，已经经受了多年的双11考验，但是怕哪天阿里不维护了，用的人不多，Kafka 是吞吐量最大的一个，远超前两个，支持事务、可保证消息的不丢失（网上说的事务和消息可靠性不支持是说的旧版，2以后就开始支持了），对比来讲，Kafka相对于前两个，只有一个劣势，不太支持延时队列，其他方面都要优于它们。
canal+kafka整合springboot简单实现mysql日志同步
xiangchen1998的博客
03-21 2075
自己定义的主题名称,在微服务中使用Value注解注入调用，如果kafka中没有该主题，则会自动创建。#自己定义的主题名称,在微服务中使用Value注解注入调用，如果kafka中没有该主题，则会自动创建。retries: 3 #设置大于0的值，则客户端会将发送失败的记录重新发送的次数。这个是自己的kafka队列的配置（主要是地址和topic主题）这个主要切换canal模式，一种是tcp，这里使用kafka。# 指定消息key和消息体的编解码方式。# 指定消息key和消息体的编解码方式。
Canal+Kafka+springboot（成功）
weixin_39137202的博客
12-15 1413
版本（Canal1.1.7）Kafka（kafka_2.12-3.5.1） mysql(8.0)
SpringBoot整合并简单使用Kafka
JustryDeng
03-10 589
目录 准备工作 编写消费者生产者 项目结构说明 生产者(示例) 消费者 测试一下 相关测试结论 声明：本文部分内容，可能需要了解Kafka相关基础知识才能看懂。 准备工作 第一步：安装并启动Kafka(详见https://blog.csdn.net/justry_deng/article/details/88381595)。 注：需要...
springboot+nacos+kafka
01-17
### Spring Boot集成Nacos与Kafka的配置及使用教程 #### 1. Maven依赖配置 为了使Spring Boot项目能够顺利连接到Kafka并利用其消息传递功能，在`pom.xml`文件中加入如下所示的相关依赖项[^1]： ```xml <dependencies> <!-- Kafka客户端 --> <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> </dependency> <!-- Nacos配置中心支持 --> <dependency> <groupId>com.alibaba.cloud</groupId> <artifactId>spring-cloud-starter-alibaba-nacos-config</artifactId> </dependency> <!-- 其他必要的Spring Cloud组件省略... --> </dependencies> ``` #### 2. 应用程序属性设置 接着定义应用程序的主要参数，包括但不限于Kafka服务器地址以及生产者和消费者的特定选项。这些通常位于项目的`application.yml`或`.properties`文件内[^2]。 ```yaml spring: kafka: bootstrap-servers: kafka-server:9092 producer: acks: all consumer: group-id: node1-group enable-auto-commit: false nacos: config: server-addr: nacos-server:8848 ``` 此部分设定允许应用通过指定端口访问远程运行的服务实例，并确保消息处理机制按照预期工作方式执行。 #### 3. 启动Nacos服务 如果计划采用Docker来部署Nacos，则可以参照下面命令快速启动单机模式下的Nacos实例[^3]: ```bash docker run \ --name nacos \ -d -p 8848:8848 \ nacos/nacos-server ``` 这一步骤为后续步骤提供了必需的基础架构支撑——即一个可用作分布式系统的注册中心和服务发现平台。 #### 4. Zookeeper前置条件准备 鉴于Kafka对Zookeeper存在强依赖关系，因此在此之前还需完成后者环境搭建。这里给出了一种基于Docker的方法来简化这一过程[^4]： ```bash # 获取官方推荐版本的ZooKeeper镜像 docker pull zookeeper:3.4.14 # 运行带有持久化特性的ZooKeeper容器 docker run -d \ --privileged=true \ --name zookeeper \ --restart=always \ -p 2181:2181 \ zookeeper:3.4.14 ``` 上述操作完成后即可继续推进至下一步：实际编写业务逻辑代码并与所描述的技术栈相结合起来。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值