golang结合Kafka消息队列实践

最新推荐文章于 2023-11-09 22:03:20 发布

xiaoyaGrace

最新推荐文章于 2023-11-09 22:03:20 发布

阅读量567

点赞数

CC 4.0 BY-SA版权

分类专栏： golang

本文链接：https://blog.youkuaiyun.com/xiaoyaGrace/article/details/103384260

本文分享了作者在公司使用Kafka作为消息队列的实践过程，选择了Go语言的sarama客户端进行连接。详细介绍了如何配置生产者和消费者，包括设置配置、发送消息、处理响应等。此外，还提到了Kafka的特性，如批量发送、消息确认机制等，并指出sarama不直接支持consumer group，但可以借助第三方库`sarama-cluster`实现。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

公司决定使用kafka来作为新一代的消息队列来使用，于是开始对kafka的机制，原理，go客户端的使用，各种了解了一番，过程中也遇到了不少的坑，特地写出来，和大家分享，也供自己参考，加深印象。

首先，kafka的设计思想，各个角色比如broker，producer，consumer，partition等等还有与它们相关的配置，这里就先不作介绍了，官方文档都有，文章后面也会提到。

附上kafka官方文档链接：
http://kafka.apachecn.org/documentation.html

客户端选择：
go连接kafka的客户端不多，综合对比了下，决定使用sarama
“go get github.com/Shopify/sarama”

生产者：

func SaramaProducer()  {

config := sarama.NewConfig()
//等待服务器所有副本都保存成功后的响应
config.Producer.RequiredAcks = sarama.WaitForAll
//随机向partition发送消息
config.Producer.Partitioner = sarama.NewRandomPartitioner
//是否等待成功和失败后的响应,只有上面的RequireAcks设置不是NoReponse这里才有用.
config.Producer.Return.Successes = true
config.Producer.Return.Errors = true
//设置使用的kafka版本,如果低于V0_10_0_0版本,消息中的timestrap没有作用.需要消费和生产同时配置
//注意，版本设置不对的话，kafka会返回很奇怪的错误，并且无法成功发送消息
config.Version = sarama.V0_10_0_1

fmt.Println("start make producer")
//使用配置,新建一个异步生产者
producer, e := sarama.NewAsyncProducer([]string{"182.61.9.153:6667","182.61.9.154:6667","182.61.9.155:6667"}, config)
if e != nil {
      fmt.Println(e)
      return
}
defer producer.AsyncClose()

//循环判断哪个通道发送过来数据.
fmt.Println("start goroutine")
go func(p sarama.AsyncProducer) {
      for{
         select {
         case  <-p.Successes():