springboot2集成kafak

本文介绍如何在Windows和Ubuntu上安装配置Kafka,并通过Spring Boot项目整合Kafka,实现消息的发送与接收。文中提供了详细的步骤及代码示例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、下载和启动kafka

启动kafka服务之前要先启动zookeeper,目前kafka的压缩包中是包含zookeeper的

1、从官网下载kafka的Binary压缩包:http://kafka.apache.org/downloads 
2、解压下载的压缩包,windows上解压后的kafka文件夹放在了D:\java\kafka_2.12-2.1.1\bin\windows目录下 
3、windows启动zookeeper

D:\java\kafka_2.12-2.1.1\bin\windows>zookeeper-server-start.bat ..\..\config\zookeeper.properties

4、windows启动kafka

D:\java\kafka_2.12-2.1.1\bin\windows>kafka-server-start.bat ..\..\config\server.properties

 5、Ubuntu解压运行

解压

tar zxvf kafka_2.12-2.1.1.tgz

运行Zookeeper

kafka_2.12-2.1.1/bin/zookeeper-server-start.sh kafka_2.12-2.1.1/config/zookeeper.properties

运行kafka

kafka_2.12-2.1.1/bin/kafka-server-start.sh kafka_2.12-2.1.1/config/server.properties

运行时注意相对路径和在不同的命令行窗口执行命令

二、创建springboot项目进行整合

1、导入kafka的jar包

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

2、配置application.properties

spring.kafka.bootstrap-servers=127.0.0.1:9092
spring.kafka.consumer.group-id=chat_group

3、编写收发消息的代码

package com.jf.netty.nettytest.chat;

import org.apache.kafka.clients.admin.AdminClient;
import org.apache.kafka.clients.admin.NewTopic;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.kafka.annotation.KafkaListener;
import org.springframework.kafka.core.KafkaAdmin;
import org.springframework.kafka.core.KafkaTemplate;
import org.springframework.kafka.support.SendResult;
import org.springframework.stereotype.Service;
import org.springframework.util.concurrent.ListenableFuture;
import org.springframework.util.concurrent.ListenableFutureCallback;

import javax.annotation.PostConstruct;
import java.util.Arrays;
import java.util.List;
import java.util.concurrent.TimeUnit;

@Service
public class KafkaServiceImpl extends AbsQueueService {
    private static Logger logger = LoggerFactory.getLogger(KafkaServiceImpl.class);

    private static final String CHAT_MESSAGE_TOPIC = "chat_message";

    @Autowired
    RoomService roomService;
    @Autowired
    private KafkaTemplate<String, String> kafkaTemplate;
    @Autowired
    private KafkaAdmin kafkaAdmin;

    /**
     * 初始化Kafka Topic
     */
    @PostConstruct
    public void init() {
        //第一个是参数是topic名字,第二个参数是分区个数,第三个是topic的复制因子个数
        NewTopic newTopic = new NewTopic(CHAT_MESSAGE_TOPIC, 1, (short) 1);
        List<NewTopic> topics = Arrays.asList(newTopic);

        AdminClient adminClient = AdminClient.create(kafkaAdmin.getConfig());
        adminClient.createTopics(topics);
        adminClient.close(5, TimeUnit.SECONDS);
    }

    /**
     * 发送kafka消息
     * @param value
     */
    public void send(String value) {
        ListenableFuture<SendResult<String, String>> future = kafkaTemplate.send(CHAT_MESSAGE_TOPIC, value);
        future.addCallback(new ListenableFutureCallback<SendResult<String, String>>() {
            @Override
            public void onFailure(Throwable throwable) {
                logger.info("发送kafka消息失败");
                //发送失败相关处理
            }
            @Override
            public void onSuccess(SendResult<String, String> stringStringSendResult) {
//                logger.info("发送kafka消息成功");
            }
        });
    }

    /**
     * 消费kafka消息
     * @param record
     */
    @KafkaListener(topics = CHAT_MESSAGE_TOPIC)
    public void listen(ConsumerRecord<?, String> record) {
        String[] value = splitMessage(record.value());
        ChatEvent chatEvent = ChatEventPool.get();
        chatEvent.setEvent(2);
        chatEvent.setChannelId(value[0]);
        chatEvent.setMessage(value[1]);
        roomService.addEvent(chatEvent);
    }

}

说明:

  1. 此处把发布消息和消费消息写在了一起,大多数情况下都会在不同类或不同工程中
  2. init方法在初始化时先新建topic,理论上来说使用kafkaTemplate.send时会自动新建topic,但是使用中会报错
  3. listen方法中包含一些业务代码,忽略就好
  4. 消费消息方法支持通配符@KafkaListener(topicPattern = "topic.*")
  5. springboot集成kafka还有大量的配置参数在application.properties,用于优化性能,详见下方链接

https://www.cnblogs.com/alan319/p/8651434.html

<think>好的,我现在需要帮助用户在Spring Boot项目中集成并使用Apache Kafka。首先,我得回忆一下之前学过的相关知识,确保步骤正确。用户已经提供了一些引用内容,我需要参考这些内容来组织回答。 首先,用户提到的引用[3]里提到需要在pom.xml中添加Kafka的依赖。我应该确认最新的Spring Boot版本对应的Kafka依赖版本是否正确。比如,当前Spring Boot 3.x可能使用更高版本的spring-kafka,比如3.0.0以上。不过用户示例中是2.8.0,可能需要指出根据项目版本选择合适版本。 接下来是配置Kafka的连接信息,引用[3]也提到了配置application.yml或application.properties文件。需要说明如何配置bootstrap-servers、生产者配置如key和value的序列化方式,消费者配置如group-id和反序列化方式。 然后是创建生产者和消费者,引用[2]中提到了使用KafkaTemplate发送消息,以及通过@KafkaListener注解来监听主题。需要详细说明如何定义生产者服务类,注入KafkaTemplate,并编写发送消息的方法。对于消费者,需要说明如何创建监听器方法,处理接收到的消息。 另外,可能需要提到配置类,但根据Spring Boot的自动配置,可能不需要额外的配置类,除非有自定义需求。比如分区策略、确认机制等,这些可以作为优化或高级配置提及。 用户的问题还可能涉及测试,比如如何发送和接收消息的示例,确保配置正确。可以建议用户编写测试用例或使用main方法进行测试。 还需要检查是否有遗漏的步骤,比如依赖添加后是否需要重新构建项目,配置项是否有误,以及常见的错误,比如bootstrap-servers地址错误,防火墙设置,Kafka服务器是否运行等。 最后,根据用户提供的示例,可能需要补充相关的问题,比如如何确保消息顺序、处理异常、监控Kafka性能等,作为相关问题部分。 现在需要将这些步骤结构化,分点说明,确保用户能够一步步跟随操作,并且代码示例正确无误。同时,引用正确的参考文献,比如引用[3]对应依赖配置,引用[2]对应生产者和消费者的使用。</think>在Spring Boot项目中集成并使用Apache Kafka的步骤如下: ### 一、添加依赖 在`pom.xml`中添加Spring Kafka依赖: ```xml <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>3.0.0</version> <!-- 根据Spring Boot版本选择 --> </dependency> ``` ### 二、配置Kafka连接 在`application.yml`中配置Kafka服务器地址和生产者/消费者参数: ```yaml spring: kafka: bootstrap-servers: localhost:9092 producer: key-serializer: org.apache.kafka.common.serialization.StringSerializer value-serializer: org.apache.kafka.common.serialization.StringSerializer consumer: group-id: my-group key-deserializer: org.apache.kafka.common.serialization.StringDeserializer value-deserializer: org.apache.kafka.common.serialization.StringDeserializer ``` ### 三、创建消息生产者 通过`KafkaTemplate`发送消息: ```java @Service public class KafkaProducerService { @Autowired private KafkaTemplate<String, String> kafkaTemplate; public void sendMessage(String topic, String message) { kafkaTemplate.send(topic, message); } } ``` ### 四、创建消息消费者 使用`@KafkaListener`注解监听消息: ```java @Service public class KafkaConsumerService { @KafkaListener(topics = "my-topic", groupId = "my-group") public void receiveMessage(String message) { System.out.println("Received: " + message); } } ``` ### 五、测试流程 在Controller中调用生产者发送消息: ```java @RestController public class KafkaController { @Autowired private KafkaProducerService producer; @GetMapping("/send") public String send(@RequestParam String msg) { producer.sendMessage("my-topic", msg); return "Message sent: " + msg; } } ``` 启动应用后访问`http://localhost:8080/send?msg=test`,消费者控制台将输出`Received: test`[^2][^3]。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值