深入学习 Kafka(3)- SpringBoot 整合 Kafka

1. 引入 jar

<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>

2. yml 配置

spring:
  kafka:
    bootstrap-servers: localhost:9092,localhost:9093,localhost:9094 # kafka 服务地址,多个以逗号隔开
    producer:
      retries: 0 #若设置大于0的值,客户端会将发送失败的记录重新发送
      acks: 1 #只要Leader副本确认接收就算成功
      batch-size: 16384 #当将多个记录被发送到同一个分区时, Producer 将尝试将记录组合到更少的请求中。这有助于提升客户端和服务器端的性能。这个配置控制一个批次的默认大小(以字节为单位)。16384是缺省的配置
      buffer-memory: 33554432 #Producer 用来缓冲等待被发送到服务器的记录的总字节数,33554432是缺省配置
      key-serializer: org.apache.kafka.common.serialization.StringSerializer #关键字的序列化类
      value-serializer: org.apache.kafka.common.serialization.StringSerializer #值的序列化类
    consumer:
      enable-auto-commit: false # 关闭自动提交 ack
      auto-commit-interval: 100 # 消费者自动提交偏移量的时间间隔,enable-auto-commit=false时,次配置不生效
      auto-offset-reset: earliest
      max-poll-records: 500 # 每次拉取的最大记录数
      key-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      value-deserializer: org.apache.kafka.common.serialization.StringDeserializer
      group-id: ${APP_NAME}
    listener:
      ack-mode: manual_immediate # 手动ack
      poll-timeout: 500ms # 每次调用poll()时,如果没有消息可消费,将等待最多500ms

3. 实现代码

生产者:
@Slf4j
@Component
public class KafkaProducer {

    private final ExecutorService executorService = Executors.newFixedThreadPool(10);

    @Resource
    private KafkaTemplate<String, String> kafkaTemplate;

    /**
     * @param topic 要发送到的Kafka主题名称
     * @param msg   要发送的消息内容
     */
    public void send(String topic, String msg) {
        executorService.submit(() -> kafkaTemplate.send(topic, msg)
                .addCallback(result -> {
                    if (result != null && result.getRecordMetadata() != null) {
                        log.info("消息发送成功,offset = {}", result.getRecordMetadata().offset());
                    } else {
                        log.warn("消息发送完成,但结果或其元数据为空");
                    }
                }, throwable -> log.error("消息发送失败,原因 = {}", throwable.getMessage())));
    }

    @PreDestroy
    public void shutdown() {
        executorService.shutdown();
        try {
            if (!executorService.awaitTermination(500, TimeUnit.MILLISECONDS)) {
                executorService.shutdownNow();
            }
        } catch (InterruptedException e) {
            executorService.shutdownNow();
            Thread.currentThread().interrupt();
        }
    }
}
消费者:
@Component
public class KafkaConsumer {

	@KafkaListener(topics = "myTopic",groupId = "xxx", properties = "max.poll.records:5", concurrency = "3")  
	public void listen(ConsumerRecord<?, ?> record) {  
	    // 处理消息  
	    ack.acknowledge();
	}
}

// topics:可以消费多个topic
// groupId:不同的groupId可以独立消费topic
// properties = "max.poll.records:5":每次轮询时消费者从Kafka服务器拉取的最大记录数(即消息数)
// concurrency:并发消费者的数量
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值