Golang 操作Kafka

最新推荐文章于 2025-06-05 00:17:52 发布

原创

最新推荐文章于 2025-06-05 00:17:52 发布 · 3.1k 阅读

3 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #golang

本文介绍了如何使用Golang操作Kafka，包括创建生产者发送消息，实现异步发送，设置消费者消费消息，并探讨了消费者组以及自定义分区器的应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 生产者生产消息

func main() {
	config := sarama.NewConfig()
	config.Producer.RequiredAcks = sarama.WaitForAll          // 发送完数据需要leader和follow都确认
	config.Producer.Partitioner = sarama.NewRandomPartitioner // 新选出⼀个partition
	config.Producer.Return.Successes = true                   // 成功交付的消息将在success channel返回
  // sasl认证
	config.Net.SASL.Enable = true
	config.Net.SASL.User = "admin"
	config.Net.SASL.Password = "admin"
	// 连接kafka
	client, err := sarama.NewSyncProducer([]string{"192.168.67.128:9092", "192.168.67.129:9092", "192.168.67.130:9092"}, config)
	if err != nil {
		fmt.Println("producer close, err:", err)
		return
	}

	defer client.Close()
	// 构造⼀个消息
	msg := &sarama.ProducerMessage{}
	msg.Topic = "ffcs"
	msg.Value = sarama.StringEncoder("hello kafka")
	// 发送消息
	pid, offset, err := client.SendMessage(msg)
	if err != nil {
		fmt.Println("send message failed,", err)
		return
	}
	fmt.Printf("pid:%v offset:%v\n", pid, offse