对接不同消息队列抽象提取

消息队列对接抽象实践

最新推荐文章于 2024-04-29 20:19:35 发布

原创

最新推荐文章于 2024-04-29 20:19:35 发布 · 829 阅读

1 ·

CC 4.0 BY-SA版权

文章标签：

#kafka #rabbitmq #队列 #分布式

本文探讨了在不修改业务代码的情况下，如何对接不同消息队列进行抽象，以实现MQ的无缝替换，如将kafka替换为阿里云RocketMQ。文章详细梳理了kafka、RocketMQ、rabbitmq/activeMQ和Redis等MQ的特性和性能，并着重讲解了MQ发送消息的抽象过程，以及如何通过类似@KafkaListener的@MqConsumer注解来抽象MQ的消费消息处理，支持pull和push方式。

背景：

公司对外输出服务希望对消息队列抽象在不修改业务代码的情况下替换MQ 例如 kafka 替换阿里云 RocketMQ

MQ分类整理

：
kafka ：Apache 自有协议性能十万级消费消息只支持 pull
RocketMQ ：Ali 自有协议性能十万级消费消息支持 pull/push
rabbitmq 或者 activeMQ：支持AMQP协议性能万级消费消息支持 pull/push
Redis：Redis的 MQ 实现是使用 lists （队列）数据类型使用 lpush 入队和 brpop 阻塞出队列的方式非典型简单的消息队列

MQ 发送消息抽象：

所有的MQ发送就是调用可以直接抽象

public class OnsSendServiceImpl implements MQSendService {
   
   


    private Producer onsProducer;
    private String name;
    private String groupId;
    private String topic;
    private String tag;
    /**
     * 发送mq消息
     *
     * @param msgId   消息id
     * @param message 默认统一使用json
     */
    @Override
    public void sendMqMessage(String msgId, String message) {
   
   
        log.info("send ons ,topic:{},tags:{},model:{},key:{}", topic, message, msgId);
        try {
   
   
            Message msg = new Message(topic, tag, msgId, message.getBytes(Charset.forName("utf-8")));
            SendResult sendResult = onsProducer.send(msg);
            log.info("ons消息发送成功。topic:{},,messageId:{},resultMessageId:{},key:{}", topic, msg.getMsgID(),
                    sendResult.getMessageId(), msgId);
        } catch (Exception e) {
   
   
            log.error("ons 信息发送失败，topic:" + topic + ",key：" + msgId + ",e=", e);
        }

    }

##（重点来了） MQ 消费消息抽象：
参考spring-boot-data-kafka的 @KafkaListener 我们可以抽象一个类似 @MqConsumer 注解在对应的消费方法上
扫描注解得到方法代理：MqListener 然后封装组合统一使用pull的方式生成 Consumer

public class MqListener {
   
   

    private Method method;

    private Object bean;

    private MqConsumer mqConsumer;

    @Override
    public String toString() {
   
   
        return JSON.toJSONString(this);
    }
}
@Documented
@Retention(RetentionPolicy.RUNTIME)
@Target({
   
   ElementType.

最低0.47元/天解锁文章