Golang 操作Kafka

关注

VIP免费原创最新推荐文章于 2026-07-26 08:34:32 发布 3.3k 阅读 AI 写同款· GEO 优化 ›

在优快云学Golang分布式中间件（kafka）在向 Kafka Broker 发送消息时，我们将消息通过 Input() 方法写入到生产者的输入通道中，并且在 select 语句中等待结果返回。需要注意的是，当消费者组发生 rebalance 事件时，Kafka 会调用一次 Cleanup() 方法来释放掉当前所有分配给该消费者组的分区，然后再调用一次 Setup() 方法来分配新的分区。Kafka 可以作为一个高吞吐量的消息队列，但是在实际应用中，当流量过大时，可能会造成消息处理能力不足的情况。时，生产者发送消息后不会等待服务器响应，直接返回成功。阅读详情

1. 生产者生产消息

func main() {
	config := sarama.NewConfig()
	config.Producer.RequiredAcks = sarama.WaitForAll          // 发送完数据需要leader和follow都确认
	config.Producer.Partitioner = sarama.NewRandomPartitioner // 新选出⼀个partition
	config.Producer.Return.Successes = true                   // 成功交付的消息将在success channel返回
  // sasl认证
	config.Net.SASL.Enable = true
	config.Net.SASL.User = "admin"
	config.Net.SASL.Password = "admin"
	// 连接kafka
	client, err := sarama.NewSyncProducer([]string{"192.168.67.128:9092", "192.168.67.129:9092", "192.168.67.130:9092"}, config)
	if err != nil {
		fmt.Println("producer close, err:", err)
		return
	}

	defer client.Close()
	// 构造⼀个消息
	msg := &sarama.ProducerMessage{}
	msg.Topic = "ffcs"
	msg.Value = sarama.StringEncoder("hello kafka")
	// 发送消息
	pid, offset, err := client.SendMessage(msg)
	if err != nil {
		fmt.Println("send message failed,", err)
		return
	}
	fmt.Printf("pid:%v offset:%v\n", pid, offse