文章目录
一.概念辨析
1.什么是消费者?
在服务端的视角,每收到一个订阅队列的请求,就多了一个消费者。在消费客户端同样如此,每订阅一个队列,就多了一个消费者。所以这里的消费者指的不是消费客户端,而是可以从指定队列中取走消息的角色。
一个消费客户端中可以有多个消费者,因为可以同时订阅多个队列。消费者和队列是绑定在一起的,不过要注意,一个消费者对应一个队列,但一个队列可以对应多个消费者,这样就可以负载均衡式选择消费者消费消息
2.服务端为什么要管理消费者?
服务端为什么要有消费者?
消费客户端通过信道订阅了一个队列,你需要把这个操作记录下来,以便后续知道消息要推送给哪个客户端的哪个信道。怎么记录呢?新增一个消费者。所以消费者就是一个表征订阅队列的角色
为什么要管理消费者?
当一个队列中新增消息后,就要选择一个订阅该队列的消费者进行消费,服务端肯定不止一个消费者,所以自然要管理起来
3.怎么管理消费者?
消费者与信道,队列都有关,信道关闭,信道内的消费者也要销毁。队列中有新消息,需要选择一个与关联的消费者推送消息。
所以既可以以队列为单元管理消费者,也可以连接为单元管理,选择哪个呢?
我选择的是以队列为单元管理,因为选择消费者推送消息这个动作很频繁,以队列为单元管理消费者提高消费者查找效率。至于连接,只需在其中记录关联的消费者,信道关闭使用消费者管理句柄删除消费者即可
4.需要管理生产者吗?
不需要,因为服务端不会像对消费者那样主动发送数据,只会对生产者发送响应,所以生产者从哪里给我发来请求,我再从哪里响应回去就行。
二.编写思路
1.定义消费者
成员变量:
- 唯一标识 id
- 订阅的队列名称
- 消息处理的回调函数:服务端的“消费”,指的是把消息从队列中取出来,然后构建响应,发送给消费者所在的消费客户端,这个构建响应并发送的过程由消费者提供的回调函数来完成,这个回调函数,哪个模块创建的消费者,哪个模块负责设置(其实就是后面讲的信道模块)
- 自动应答标志:所谓自动应答就是不需要消费客户端发送 ACK,而是服务端自己把消息发出去后就删除本地消息
2.定义队列消费者管理管理类
成员变量:
- 队列名称
- 消费者的 vector 数组
为什么要选数组,我们说需要为队列负载均衡地选择一个消费者进行消费,采用的方法就是下标轮转,所以要支持随机访问,数组就很合适- 轮转下标
成员方法:- 新增消费者
- 删除消费者
- 获取一个消费者
3.定义消费者管理类
成员变量:
- 队列消费者管理句柄数组
成员方法:- 构造函数:根据传入的队列名数组,初始化队列消费者管理句柄
- 初始化队列消费者管理句柄:新增队列时使用
- 向指定队列新增消费者
- 从指定队列删除消费者:
- 从指定队列获取一个消费者:负载均衡式消费
- 删除队列消费者管理句柄:删除队列时使用
三.代码实践
#pragma once
#include "../common/Log.hpp"
#include "../common/message.pb.h"
#include <functional>
#include <memory>
#include <atomic>
#include <mutex>
#include <vector>
#include <unordered_map>
namespace ns_consumer
{
using namespace ns_log;
class Consumer;
class QueueConsumerManager;
using ConsumerPtr = std::shared_ptr<Consumer>;
using QueueConsumerManagerPtr = std::shared_ptr<QueueConsumerManager>;
using MessagePtr = std::shared_ptr<ns_data::Message>;
using ConsumerCallback_t = std::function<void(const std::string& qname, const std::string& consumerId, MessagePtr msgPtr)>;
struct