spring+springmvc整合kafka 简单示例

最新推荐文章于 2025-12-11 08:58:14 发布
原创 最新推荐文章于 2025-12-11 08:58:14 发布 · 3.3k 阅读 · 17 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#java

本文介绍了如何在Spring+SpringMVC环境下整合Kafka，包括环境变量安装、启动Zookeeper和Kafka、项目结构、配置文件设置以及生产者和消费者的实现。通过详细步骤和源码分享，帮助读者理解并实现Spring集成Kafka的基本过程。

记一次spring+springmvc整合kafka的过程，简单示例初学者（附源码）

环境变量的安装

1.首先是jdk的安装
下载地址：jdk下载
2.安装zookper和kafka，网上有很多案例 不在赘述

启动zookper和kafka

成功安装zookper和kafka之后
1.启动zookper：zkserver
启动成功
在这里插入图片描述
2.启动kafka
在kafka安装目录下–>shift+鼠标右键–>打开Powershell窗口
输入命令： .\bin\windows\kafka-server-start.bat .\config\server.properties
在这里插入图片描述

项目结构图

在这里插入图片描述

pom.xml 引入kafka所需的jar包

注意pom依赖的版本问题 我就是其中一个版本太低导致我一直错误

  <!-- kafka客户端支持包 -->
	   <dependency>
	        <groupId>org.apache.kafka</groupId>
	        <artifactId>kafka-clients</artifactId>
	        <version>0.11.0.1</version>
	    </dependency>
		<!-- spring支持kafka -->
	    <dependency>
	        <groupId>org.springframework.kafka</groupId>
	        <artifactId>spring-kafka</artifactId>
	        <version>2.0.4.RELEASE</version>
	    </dependency>

config.properties配置文件

#============================= kafka ============================#
#主题
#页面浏览  topic
kafka.topic_page=pageTopic
#点击  topic
kafka.topic_click=clickTopic
#kafka 集群地址
kafka.servers=192.168.28.129:9092,192.168.28.130:9092,192.168.28.131:9092
#指定组名
kafka.group_id_report=report-data
kafka.report_data_container="reportDataContainer1"

application-kafka.xml

<?xml version="1.0" encoding="UTF-8"?> 
<beans xmlns="http://www.springframework.org/schema/beans"    
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"   
    xmlns:p="http://www.springframework.org/schema/p"  
    xmlns:aop="http://www.springframework.org/schema/aop"   
    xmlns:context="http://www.springframework.org/schema/context"  
    xmlns:jee="http://www.springframework.org/schema/jee"  
    xmlns:tx="http://www.springframework.org/schema/tx" 
    xmlns:task="http://www.springframework.org/schema/task"
    xmlns:mvc="http://www.springframework.org/schema/mvc" 
    xmlns:rabbit="http://www.springframework.org/schema/rabbit"
    xsi:schemaLocation="    
        http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-4.0.xsd  
        http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd  
        http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-4.0.xsd  
        http://www.springframework.org/schema/jee http://www.springframework.org/schema/jee/spring-jee-4.0.xsd  
        http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.0.xsd
        http://www.springframework.org/schema/task http://www.springframework.org/schema/task/spring-task-4.1.xsd
        http://www.springframework.org/schema/mvc http://www.springframework.org/schema/mvc/spring-mvc.xsd
        http://www.springframework.org/schema/rabbit http://www.springframework.org/schema/rabbit/spring-rabbit-2.1.xsd
        ">
        <!-- 加载配置文件 -->
		<context:property-placeholder ignore-unresolvable="false" location="classpath:properties/config.properties"/>
		     
		<!-- 生产者 -->
		<bean id="producerFactory" class="org.springframework.kafka.core.DefaultKafkaProducerFactory">
			<constructor-arg>
				<map>
					<entry key="bootstrap.servers" value="${kafka.servers}"></entry>
					<entry key="key.serializer" value="org.apache.kafka.common.serialization.StringSerializer"></entry>
					<entry key="value.serializer" value="org.apache.kafka.common.serialization.StringSerializer"></entry>
					<entry key="key.deserializer" value="org.apache.kafka.common.serialization.StringDeserializer"></entry>
					<entry key="value.deserializer" value="org.apache.kafka.common.serialization.StringDeserializer"></entry>
				</map>
			</constructor-arg>
		</bean>
		<!-- 用于发送消息的模板 kafkaTemplate-->
        <bean id="kafkaTemplate" class="org.springframework.kafka.core.KafkaTemplate">
        	<constructor-arg ref="producerFactory"></constructor-arg>
        	<constructor-arg name="autoFlush" value="true"></constructor-arg>
        </bean>
        
        <!-- 创建消费者 -->
       <bean id="consumerFactory" class="org.springframework.kafka.core.DefaultKafkaConsumerFactory">
       		<constructor-arg>
       			<map>
       				<entry key="bootstrap.servers" value="${kafka.servers}"></entry>
       				<entry key="group.id" value="${kafka.report_data_container}"></entry>
       				<entry key="key.deserializer" value="org.apache.kafka.common.serialization.StringDeserializer"></entry>
       				<entry key="value.deserializer" value="org.apache.kafka.common.serialization.StringDeserializer"></entry>
       			</map>
       		</constructor-arg>
       </bean>
       <!-- 消息消费者监听器 用于在接收到消息时执行相关的业务代码  (自行定义的类 用户于处理相应的业务操作)-->
       <bean id="consumerListener" class="com.cyou.web.newsSSM.listener.KafkaConsumerListener"/>
       
      
       
       <!-- 用于将监听器和个某个主题绑定在一起 -->
       <bean id="containerProperties_example" class="org.springframework.kafka.listener.config.ContainerProperties">
       		<constructor-arg value="test-topic"></constructor-arg>
       		<property name="messageListener" ref="consumerListener"></property>
       		<!-- <property name="messageListener" ref="reportDataListener"/> -->
       		<!-- <constructor-arg>
       			<list>
       			 	<value>${kafka.topic_page}</value>
       			 	<value>${kafka.topic_click}</value>
       			</list>
       		</constructor-arg> -->
       </bean>
       <!-- 用于将消息监听器与消息消费者工厂绑定在一起 -->
       <bean id="messageListtenerContainer_example" class="org.springframework.kafka.listener.KafkaMessageListenerContainer">
       		<constructor-arg ref="containerProperties_example"></constructor-arg>
       		<constructor-arg ref="consumerFactory"></constructor-arg>
       </bean>
       
       	<!-- springMvc4 用于将对象转换为 JSON  -->  
	    <bean id="stringConverter"  
	        class="org.springframework.http.converter.StringHttpMessageConverter">  
	        <property name="supportedMediaTypes">  
	            <list>  
	                <value>text/plain;charset=UTF-8</value>  
	            </list>  
	        </property>  
	    </bean>  
	    <bean id="jsonConverter"  
	        class="org.springframework.http.converter.json.MappingJackson2HttpMessageConverter"></bean>  
	    <bean  
	        class="org.springframework.web.servlet.mvc.annotation.AnnotationMethodHandlerAdapter">  
	        <property name="messageConverters">  
	            <list>  
	                <ref bean="stringConverter" />  
	                <ref bean="jsonConverter" />  
	            </list>  
	        </property>  
	    </bean>          	
 
</beans>

spring-mvc.xml

<?xml version="1.0" encoding="UTF-8"?>    
<beans xmlns="http://www.springframework.org/schema/beans"    
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"   
    xmlns:p="http://www.springframework.org/schema/p"  
    xmlns:aop="http://www.springframework.org/schema/aop"   
    xmlns:context="http://www.springframework.org/schema/context"  
    xmlns:jee="http://www.springframework.org/schema/jee"  
    xmlns:tx="http://www.springframework.org/schema/tx"  
    xsi:schemaLocation="    
        http://www.springframework.org/schema/aop http://www.springframework.org/schema/aop/spring-aop-4.0.xsd  
        http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans-4.0.xsd  
        http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context-4.0.xsd  
        http://www.springframework.org/schema/jee http://www.springframework.org/schema/jee/spring-jee-4.0.xsd  
        http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx-4.0.xsd">
        
         <!-- 开启注解扫描功能 springMvc--> 
        <context:component-scan base-package="com.java.kafka.controller" />
       
        
        <!-- 视图解析器 (对应DispatcherServlet跳转(逻辑视图名))-->
		<bean id="viewResolver"
			class="org.springframework.web.servlet.view.InternalResourceViewResolver">
			<property name="prefix" value="/WEB-INF" />
			<property name="suffix" value=".jsp"></property>
		</bean>
        
            
</beans>

web.xml

<?xml version="1.0" encoding="UTF-8"?>
<web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://xmlns.jcp.org/xml/ns/javaee" xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee http://xmlns.jcp.org/xml/ns/javaee/web-app_3_1.xsd" id="WebApp_ID" version="3.1">
  <display-name>NewsSSM</display-name>
  <welcome-file-list>
    <welcome-file>index.jsp</welcome-file>
  </welcome-file-list>
  
    <servlet-mapping>
   		<servlet-name>default</servlet-name>
   		<url-pattern>*.js</url-pattern>
   </servlet-mapping>
   
   <servlet-mapping>
   		<servlet-name>default</servlet-name>
   		<url-pattern>*.css</url-pattern>
   </servlet-mapping>
  
  	<!-- Spring监听器 -->
	<listener>
		<listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>
	</listener>
	<!-- 防止spring内存溢出监听器 -->  
    <listener>  
        <listener-class>org.springframework.web.util.IntrospectorCleanupListener</listener-class>  
    </listener>  
    <!-- 监听servletContext，启动contextConfigLocation中的spring配置信息 -->  
    <listener>  
        <listener-class>org.springframework.web.context.ContextLoaderListener</listener-class>  
    </listener>
	
    
	<!-- spring 配置   加载配置文件 -->
	<context-param>
		<param-name>contextConfigLocation</param-name>
		<param-value>classpath:application-kafka.xml</param-value>
	</context-param>
 
	<!-- 编码过滤器 -->
	<filter>
		<filter-name>encodingFilter</filter-name>
		<filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class>
		<async-supported>true</async-supported>
		<init-param>
			<param-name>encoding</param-name>
			<param-value>UTF-8</param-value>
		</init-param>
	</filter>
	<filter-mapping>
		<filter-name>encodingFilter</filter-name>
		<url-pattern>/*</url-pattern>
	</filter-mapping>
    
    <!-- 添加对springmvc的支持 -->
	<servlet>
		<servlet-name>springMVC</servlet-name>
		<servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
		<init-param>
			<param-name>contextConfigLocation</param-name>
			<param-value>classpath:spring-mvc.xml</param-value>
		</init-param>
		<load-on-startup>1</load-on-startup>
		<async-supported>true</async-supported>
	</servlet>
	<servlet-mapping>
		<servlet-name>springMVC</servlet-name>
		<url-pattern>*.do</url-pattern>
	</servlet-mapping>
	
    <context-param>
        <param-name>spring.profiles.active</param-name>
        <param-value>dev</param-value>
    </context-param>
    <context-param>
        <param-name>spring.profiles.default</param-name>
        <param-value>dev</param-value>
    </context-param>
    <context-param>
        <param-name>spring.liveBeansView.mbeanDomain</param-name>
        <param-value>dev</param-value>
    </context-param>
    
    <!-- 启用Web监控统计功能需要在Web应用的web.xml中加入这个Servlet声明 -->
    <servlet>
      <servlet-name>DruidStatView</servlet-name>
      <servlet-class>com.alibaba.druid.support.http.StatViewServlet</servlet-class>
  	</servlet>
  	<servlet-mapping>
      <servlet-name>DruidStatView</servlet-name>
      <url-pattern>/druid/*</url-pattern>
  	</servlet-mapping>

</web-app>

生产者SpringProducer

import org.springframework.context.ApplicationContext;
import org.springframework.context.support.ClassPathXmlApplicationContext;
import org.springframework.kafka.core.KafkaTemplate;

public class SpringProducer {
	 public static void main(String[] args) {
	        // TODO Auto-generated method stub
	        ApplicationContext context = new ClassPathXmlApplicationContext("application-kafka.xml");
	        KafkaTemplate<String, String> kafkaTemplate = (KafkaTemplate<String, String>)context.getBean("kafkaTemplate");
	        kafkaTemplate.send("test-topic","消息中间件实践");
	        kafkaTemplate.send("test-topic","docker技术");
	        kafkaTemplate.send("test-topic","springcloud实践");
	    }
	
}

消费者KafkaConsumerListener

import org.apache.kafka.clients.consumer.Consumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.springframework.kafka.listener.MessageListener;
import org.springframework.kafka.support.Acknowledgment;

public class KafkaConsumerListener implements MessageListener<String, String>{

	public void onMessage(ConsumerRecord<String, String> record) {
        // TODO Auto-generated method stub
        System.out.println("监听开始.......");
        System.out.println("partition = " + record.partition() 
                  + " ,offset = " + record.offset() 
                  + " ,key = " + record.key() + " ,value = " + record.value());
    }
 
    public void onMessage(ConsumerRecord<String, String> data,
            Acknowledgment acknowledgment) {
        // TODO Auto-generated method stub
        
    }
 
    public void onMessage(ConsumerRecord<String, String> data,
            Consumer<?, ?> consumer) {
        // TODO Auto-generated method stub
        
    }
 
    public void onMessage(ConsumerRecord<String, String> data,
            Acknowledgment acknowledgment, Consumer<?, ?> consumer) {
        // TODO Auto-generated method stub
        
    }

}

总结

这个时候只需要启动生产者类 在控制台看到生产者生产的消息
在这里插入图片描述
在这里插入图片描述
源码链接在这里： //download.youkuaiyun.com/download/weixin_44041342/12038655

参考博文链接
https://blog.youkuaiyun.com/qq_31987649/article/details/86500936

Java架构-spring+springmvc+kafka分布式消息中间件集成方案
Java架构师笔记
11-18 420
Honghu的消息服务平台已经抛弃了之前的ActiveMQ，改用高吞吐量比较大的Kafka分布式消息中间件方案： kafka消息平台使用spring+kafka的集成方案，详情如下： 使用最高版本2.1.0.RELEASE集成jar包：spring-integration-kafka Zookeeper、Kafka分布式集群使用init.properties配置化方案。 Java代码 ...
Spring+SpringMVC+MyBatis框架的整合+注解
thinkhi9999的博客
08-24 2571
标准主流现在编程方式都是采用MVC综合设计模式，MVC本身不属于设计模式的一种，它描述的是一种结构，最终目的达到解耦，解耦说的意思是你更改某一层代码，不会影响我其它层代码，如果你会像Spring这样的框架，你会了解面向接口编程，表示层调用控制层，控制层调用业务层，业务层调用数据访问层。如果不使用任何框架，而单纯使用Servlet和JDBC技术，甚至只用JSP技术，同样可以实现JAVAWEB的项目开发，但这样的项目具体工作码量大，代码之间的耦合性极强，如果需要调整某一功能 ，出于连锁反应，可能要修改所有的源代
springMVC-kafka消息分发
12-17
springMVC实现生产者代码 main方法调用消息监听接口 生产消费分离
SpringMVC整合Kafka实战
现场喷口水的专栏
12-25 5019
1.SpringMVC整合生产者(Producer) SpringMVC整合生产者比较简单，我直接用一个单例对象来管理生产者，这样保证生产者也是一个单例对象。 1.1 导入kafka的maven依赖 1.2 创建单例对象管理生产者 我使用静态内部类的方式创建单例对象，保证单例对象的线程安全。直接上代码 public class KafkaManager { private...
springMVC+多线程+kafka的 demo基于maven
07-07
多次整理精简，得出基于maven 的springmvc 框架搭载 ：多线程（线程池式）和 kafka（集群下生产者消费者）；demo 下载导入改下kafka集群IP地址即可使用。
Kafka、SpringMVC整合例子
JBIB ENGINE
11-25 1405
logger.info("=============kafka消息订阅=============");logger.info("=============kafka消息订阅=============");//检查result结果集。logger.info("-----------------kafka发送数据成功");logger.info("-----------------kafka发送数据结束");logger.info("-----------------kafka发送数据失败");
kafka整合springMVC(消费者)
SandorClegane1的博客
02-10 3914
kafka整合springMVC(消费者) 由于公司项目是mvc的，所以不得不用mvc进行整合，mvc的xml配置属实头疼，头疼也得开始搞。 开始之前，需要先在虚拟机安装环境，网上教程很多，我就不介绍了，但是有几个配置文件需要注意，如下： kafka的配置文件server.properties,大约三十多行的地方，两个地址，需要填你自己的ip地址(我的虚拟机地址) 还有一个consumer.properties中的，一个consumer group.id 还有一个topic信息，网上大多使用的是如下命令
spring+Kafka+springmvc Demo
热门推荐
wu18296184782的博客
05-02 1万+
一、下载(官网下载:http://kafka.apache.org/downloads.html)   任意下载一个zip二、制作demo示例，spring+springmvc+Kafka开发前请先安装zookeeper，传送门                                              1. 启动kafka服务：安装目录下.\bin\windows\kafka-se...
Spring + Mybatis + Druid集成Kafka技术实践
综上所述，ssm+Druid+kafka的示例项目展示了一个集成了Spring核心框架、Web层的SpringMVC、持久层框架Mybatis、数据库连接池Druid以及消息处理系统Kafka的复杂架构。它不仅涵盖了后端开发的主要技术栈，还展示了在...
Kafka与springmvc整合-yellowcong
04-24 4296
kafka配置 # kafka配置 kafka.bootstrap-servers=192.168.100.10:9092 #格式 kafka.consumer.group-id=consumer-ba-jump-2 #自动提交 kafka.consumer.enable-auto-commit=true #kafka超时时间 kafka.consumer.session.timeout=20...
kafkaspringMVC
03-26
kafkaspringMVC
kafka环境搭建并和spring整合
11-07
分别介绍了kafka单机版，集群版环境搭建和常用配置和命令，并有和spring整合开发的简单示例。
spring+kafka中间件整合
05-02
spring整合kafka集群，init.properties配置kafka集群信息（也可以单个kafka服务），kafka-consumer.xml配置消费者监听，kafka-producer.xml配置消息生产者。
kafka maven 依赖_SpringMVC整合Kafka实战
weixin_39748773的博客
11-20 1211
1.SpringMVC整合生产者(Producer)SpringMVC整合生产者比较简单，我直接用一个单例对象来管理生产者，这样保证生产者也是一个单例对象。1.1 导入kafka的maven依赖​1.2 创建单例对象管理生产者我使用静态内部类的方式创建单例对象，保证单例对象的线程安全。直接上代码public class KafkaManager { private static final ...
spring+springmvc+kafka分布式消息中间件集成方案
iteye_3750的博客
06-23 1173
Honghu的消息服务平台已经抛弃了之前的ActiveMQ，改用高吞吐量比较大的Kafka分布式消息中间件方案： kafka消息平台使用spring+kafka的集成方案，详情如下： 使用最高版本2.1.0.RELEASE集成jar包：spring-integration-kafka Zookeeper、Kafka分布式集群使用init.properties配置化方案。 Java代码 kafka.servers=127.0.0.1:9092 kafka.topic=xxxooo
javascript 性能优化实战：异步和延迟加载
最新发布
小伙伴们全都Lucky！
12-11 786
本文探讨JavaScript性能优化中的异步加载与延迟加载技术。异步加载通过async/defer属性或动态创建script元素避免阻塞渲染；延迟加载则利用IntersectionObserver API按需加载非关键资源。二者结合可显著提升性能：异步加载核心脚本确保交互流畅，延迟加载减少初始请求量。实践表明，该方案能降低DOMContentLoaded时间30%以上，减少初始加载量90%，但需注意async脚本的执行顺序问题和延迟加载的回退处理。文中提供了完整的代码实现示例。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值