SpringBoot快速集成Kafka

SpringBoot快速集成Kafka

由于需要对接kafka进行数据同步,在对接Kafka时由于内外网的原因没办法直接消费数据,故参考内网环境搭建一个Kafka来测试是否网络已通

一、概述

Kafka部署依赖于zookeeper,所以部署方式采用docker compose部署

环境对安全要求较高,需要添加安全验证,使用SASL/PLAIN验证方式

二、集成SpringBoot

自定义topic

配置文件中添加topic、groupId的配置,便于修改

project:kafka:
    topicIds:somliy-test
    groupId:group-id-1

通过读取配置文件的方式,把配置信息加载到Spring中

package top.somliy.kafka.config;
​
​
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.InitializingBean;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Configuration;
import top.somliy.kafka.properties.KafkaProperties;
​
/**
 * 类名: @ClassName KafkaTopicConfig
 * 创建人:@author zhao dong
 * 类描述:@Description:
 * 创建时间: 2023/3/20 16:45
 */@Slf4j@ConfigurationpublicclassKafkaConfigimplementsInitializingBean {
​
    @Autowired
    private KafkaProperties kafkaProperties;
​
    @Override
    publicvoidafterPropertiesSet() {
        // 获取配置
        StringtopicIds= kafkaProperties.getTopi
<think>好的,我现在需要帮助用户在Spring Boot项目中集成并使用Apache Kafka。首先,我得回忆一下之前学过的相关知识,确保步骤正确。用户已经提供了一些引用内容,我需要参考这些内容来组织回答。 首先,用户提到的引用[3]里提到需要在pom.xml中添加Kafka的依赖。我应该确认最新的Spring Boot版本对应的Kafka依赖版本是否正确。比如,当前Spring Boot 3.x可能使用更高版本的spring-kafka,比如3.0.0以上。不过用户示例中是2.8.0,可能需要指出根据项目版本选择合适版本。 接下来是配置Kafka的连接信息,引用[3]也提到了配置application.yml或application.properties文件。需要说明如何配置bootstrap-servers、生产者配置如key和value的序列化方式,消费者配置如group-id和反序列化方式。 然后是创建生产者和消费者,引用[2]中提到了使用KafkaTemplate发送消息,以及通过@KafkaListener注解来监听主题。需要详细说明如何定义生产者服务类,注入KafkaTemplate,并编写发送消息的方法。对于消费者,需要说明如何创建监听器方法,处理接收到的消息。 另外,可能需要提到配置类,但根据Spring Boot的自动配置,可能不需要额外的配置类,除非有自定义需求。比如分区策略、确认机制等,这些可以作为优化或高级配置提及。 用户的问题还可能涉及测试,比如如何发送和接收消息的示例,确保配置正确。可以建议用户编写测试用例或使用main方法进行测试。 还需要检查是否有遗漏的步骤,比如依赖添加后是否需要重新构建项目,配置项是否有误,以及常见的错误,比如bootstrap-servers地址错误,防火墙设置,Kafka服务器是否运行等。 最后,根据用户提供的示例,可能需要补充相关的问题,比如如何确保消息顺序、处理异常、监控Kafka性能等,作为相关问题部分。 现在需要将这些步骤结构化,分点说明,确保用户能够一步步跟随操作,并且代码示例正确无误。同时,引用正确的参考文献,比如引用[3]对应依赖配置,引用[2]对应生产者和消费者的使用。</think>在Spring Boot项目中集成并使用Apache Kafka的步骤如下: ### 一、添加依赖 在`pom.xml`中添加Spring Kafka依赖: ```xml <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>3.0.0</version> <!-- 根据Spring Boot版本选择 --> </dependency> ``` ### 二、配置Kafka连接 在`application.yml`中配置Kafka服务器地址和生产者/消费者参数: ```yaml spring: kafka: bootstrap-servers: localhost:9092 producer: key-serializer: org.apache.kafka.common.serialization.StringSerializer value-serializer: org.apache.kafka.common.serialization.StringSerializer consumer: group-id: my-group key-deserializer: org.apache.kafka.common.serialization.StringDeserializer value-deserializer: org.apache.kafka.common.serialization.StringDeserializer ``` ### 三、创建消息生产者 通过`KafkaTemplate`发送消息: ```java @Service public class KafkaProducerService { @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String topic, String message) { kafkaTemplate.send(topic, message); } } ``` ### 四、创建消息消费者 使用`@KafkaListener`注解监听消息: ```java @Service public class KafkaConsumerService { @KafkaListener(topics = "my-topic", groupId = "my-group") public void receiveMessage(String message) { System.out.println("Received: " + message); } } ``` ### 五、测试流程 在Controller中调用生产者发送消息: ```java @RestController public class KafkaController { @Autowired private KafkaProducerService producer; @GetMapping("/send") public String send(@RequestParam String msg) { producer.sendMessage("my-topic", msg); return "Message sent: " + msg; } } ``` 启动应用后访问`http://localhost:8080/send?msg=test`,消费者控制台将输出`Received: test`[^2][^3]。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值