Go 操作kafka

最新推荐文章于 2025-10-24 12:40:49 发布

原创

最新推荐文章于 2025-10-24 12:40:49 发布 · 542 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#golang #kafka

本文详细介绍了如何使用Go语言的Sarama库实现Kafka生产者，包括配置参数、发送消息，以及连接Kafka并消费消息的过程。

1.下载和安装

go get github.com/IBM/sarama

2.连接

func main() {
   config := sarama.NewConfig()
   config.Producer.RequiredAcks = sarama.WaitForAll //发送完数据需要leader和follow都确认
   config.Producer.Partitioner = sarama.NewRandomPartitioner
   config.Producer.Return.Successes = true         // 成功交付的消息将在success channel返回
   config.Producer.Retry.Max = 0                   //重新发送的次数
   config.Producer.Timeout = time.Microsecond * 10 //等待 WaitForAck的时间
   config.Producer.Idempotent = true               //开启幂等性
   //config.Producer.Transaction =

   //构造一个消息

   //连接kafka
   client, err := sarama.NewSyncProducer([]string{"192.168.0.4:9092"}, config)
   if err != nil {
      fmt.Println("producer closed,err:", err)
      return
   }
   defer client.Close()

   //发送消息
   for i := 0; i < 5; i++ {
      msg := &sarama.ProducerMessage{}
      msg.Topic = "user-top"
      msg.Value = sarama.StringEncoder("this is test log:" + strconv.Itoa(i))
      pid, offset, err