golang结合Kafka消息队列实践(二)

最新推荐文章于 2025-07-03 03:57:18 发布

原创

最新推荐文章于 2025-07-03 03:57:18 发布 · 6.9k 阅读

6 ·

CC 4.0 BY-SA版权

文章标签：

#golang #kafka

本文延续上篇，介绍如何在Golang中利用sarama-cluster库实现Kafka消费者组功能。通过设置相同的groupId，多个消费者能均衡分配topic的partition，每个partition仅由一个消费者消费，确保消息的有序性。同时，讨论了消费组的offset管理，展示了获取特定消费组分区offset的方法。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

上周分享了如何使用go来对kafka进行生产和消费，这周接着对kafka消息队列的一些特性来进行使用。
上次讲到kafka有个consumer group的概念，而我们使用的sarama并没有支持，所以这次引入sarama-cluster项目 : go get “github.com/bsm/sarama-cluster”

producer的代码不变，参考上一篇文章，consumer的代码改为如下：

import KafkaCluster "github.com/bsm/sarama-cluster"

func KafkaConsumerCluster(consumerId string)  {

    brokers := []string{
  
  "182.61.9.153:6667","182.61.9.154:6667","182.61.9.155:6667"}
    topics := []string{
  
  "0612_test"}

    config := KafkaCluster.NewConfig()
    config.Consumer.Return.Errors = true
    config.Consumer