nsq基本使用及理解

涛声依在

于 2025-04-14 10:22:22 发布

阅读量814

点赞数 5

分类专栏： Golang开发文章标签： golang 后端 mysql

本文链接：https://blog.youkuaiyun.com/qq_45249945/article/details/147128877

版权

Golang开发专栏收录该内容

5 篇文章

订阅专栏

NSQ 是一个分布式消息队列系统，用于处理高并发、实时消息传递，尤其适用于处理任务队列、事件驱动的应用场景。在 Go 中，NSQ 提供了一个高效的消息传递平台，允许你将消息发布到一个或多个消费者，而消费者会异步处理这些消息。NSQ 在 Go 中的常见用法涉及到消息发布、消息消费以及如何进行同步等问题。

一、NSQ 概述

NSQ 是一个轻量级、实时分布式消息队列，主要用于以下几种场景：

高并发的消息队列处理。
分布式系统中，多个服务之间的解耦。
任务调度与事件通知。

NSQ 由多个组件组成：

nsqd：消息队列守护进程，处理消息的发布和消费。
nsqlookupd：服务发现组件，用于查找可用的 nsqd 实例。
消费者：从 nsqd 获取消息并进行处理。
生产者：将消息发布到 nsqd。

二、在 Go 中使用 NSQ

Go 通过 github.com/nsqio/go-nsq 提供了对 NSQ 的官方客户端支持。下面是一些常见的使用方法，包括消息的发布、消费和同步。

1. 安装 NSQ Go 客户端

首先，你需要安装 NSQ Go 客户端库：

go get -u github.com/nsqio/go-nsq

2. 消息发布（Producer）

消息发布者是将消息发布到 NSQ 队列中的组件。发布者通过连接到 nsqd 服务器，并将消息发送到特定的 topic。

package main

import (
	"fmt"
	"log"

	"github.com/nsqio/go-nsq"
)

func main() {
	// 创建一个 Producer 连接到 NSQ
	producer, err := nsq.NewProducer("127.0.0.1:4150", nsq.NewConfig())
	if err != nil {
		log.Fatal(err)
	}

	// 发布消息到 "my_topic"
	err = producer.Publish("my_topic", []byte("Hello, NSQ!"))
	if err != nil {
		log.Fatal(err)
	}
	fmt.Println("Message published!")
}

在上面的代码中：

我们通过 nsq.NewProducer("127.0.0.1:4150", nsq.NewConfig()) 创建了一个与 NSQ 服务的连接。
使用 producer.Publish("my_topic", []byte("Hello, NSQ!")) 将消息发布到 my_topic 的消息队列中。

3. 消息消费（Consumer）

消费者从 nsqd 获取消息并进行处理。每个消费者订阅一个或多个 topic，接收到消息后会调用处理函数进行处理。

package main

import (
	"fmt"
	"log"

	"github.com/nsqio/go-nsq"
)

// 消息处理函数
func handleMessage(message *nsq.Message) error {
	fmt.Printf("Received message: %s\n", string(message.Body))
	return nil
}

func main() {
	// 创建一个 Consumer 并订阅 "my_topic"
	consumer, err := nsq.NewConsumer("my_topic", "channel1", nsq.NewConfig())
	if err != nil {
		log.Fatal(err)
	}

	// 设置消息处理函数
	consumer.AddHandler(nsq.HandlerFunc(handleMessage))

	// 连接到 nsqd
	err = consumer.ConnectToNSQD("127.0.0.1:4150")
	if err != nil {
		log.Fatal(err)
	}

	// 等待消费者完成处理
	select {}
}

在上面的代码中：

nsq.NewConsumer("my_topic", "channel1", nsq.NewConfig()) 创建一个消费者，订阅 my_topic topic，并指定 channel1 作为消费的频道。
使用 consumer.AddHandler(nsq.HandlerFunc(handleMessage)) 设置消息处理函数 handleMessage，该函数会在收到消息时被调用。
consumer.ConnectToNSQD("127.0.0.1:4150") 连接到 NSQ 的 nsqd 服务。

4. 消费者的特殊同步

NSQ 默认是异步的，即消息的发布和消费是异步的。消费进程会并发处理消息，这使得消费者可以非常高效地处理大量消息。

但有时你可能需要对多个消息的消费进行同步处理，例如，确保消费者处理完所有消息后再做进一步操作（比如关闭服务、写入数据库等）。这时你可以使用 Go 的 goroutine 和 channel 来进行同步。

使用 `sync.WaitGroup` 来同步消费者

sync.WaitGroup 是 Go 的并发原语之一，用于等待一组 goroutine 执行完毕。你可以通过它来同步消费者的处理。

package main

import (
	"fmt"
	"log"
	"sync"

	"github.com/nsqio/go-nsq"
)

// 消息处理函数
func handleMessage(message *nsq.Message, wg *sync.WaitGroup) error {
	defer wg.Done() // 消息处理完后调用 Done()

	// 模拟一些处理
	fmt.Printf("Received message: %s\n", string(message.Body))

	return nil
}

func main() {
	var wg sync.WaitGroup

	// 创建 Consumer 并订阅 "my_topic"
	consumer, err := nsq.NewConsumer("my_topic", "channel1", nsq.NewConfig())
	if err != nil {
		log.Fatal(err)
	}

	// 设置消息处理函数
	consumer.AddHandler(nsq.HandlerFunc(func(message *nsq.Message) error {
		wg.Add(1) // 每收到一条消息，增加计数器
		return handleMessage(message, &wg)
	}))

	// 连接到 NSQ
	err = consumer.ConnectToNSQD("127.0.0.1:4150")
	if err != nil {
		log.Fatal(err)
	}

	// 等待所有消息处理完毕
	wg.Wait()
}

在这个例子中：

我们使用 sync.WaitGroup 来跟踪每个消息的处理。每收到一条消息，wg.Add(1) 增加计数器，在消息处理完后调用 wg.Done()。
主 goroutine 调用 wg.Wait() 来等待所有消息处理完。

三、NSQ 的特殊同步场景

在某些特殊场景下，我们可能希望消费者在处理完消息后执行一些额外的同步操作，如等待所有的消息都处理完后关闭连接，或者执行一些后续操作。下面是一些常见的同步场景和解决方案：

1. 批量处理

在需要批量处理消息的情况下，我们可以将多个消息缓存起来，然后一起处理。这样可以减少对外部资源（如数据库）的请求次数。

var messageBatch []string
var batchSize = 10
var mu sync.Mutex

func handleMessage(message *nsq.Message) error {
	mu.Lock()
	messageBatch = append(messageBatch, string(message.Body))
	if len(messageBatch) >= batchSize {
		// 处理批量消息
		processBatch(messageBatch)
		messageBatch = nil // 清空缓存
	}
	mu.Unlock()
	return nil
}

func processBatch(batch []string) {
	// 处理批量消息的逻辑
	fmt.Printf("Processing batch: %v\n", batch)
}

2. 关闭 NSQ 客户端

当消费者处理完所有消息后，我们可能需要优雅地关闭 NSQ 连接。为了确保消费者在关闭之前处理完所有消息，我们可以通过 sync.WaitGroup 或其他同步机制来确保消息处理完毕后再关闭。

var wg sync.WaitGroup

func handleMessage(message *nsq.Message) error {
	defer wg.Done() // 在消息处理完后调用 Done()
	// 处理消息的逻辑
	return nil
}

func main() {
	// 初始化消费者
	consumer.AddHandler(nsq.HandlerFunc(handleMessage))

	// 启动消费者并等待所有消息处理完
	wg.Add(1)
	if err := consumer.ConnectToNSQD("127.0.0.1:4150"); err != nil {
		log.Fatal(err)
	}

	// 等待所有消息处理完
	wg.Wait()

	// 完成处理后可以关闭连接
	consumer.Stop()
}