谷粒商城项目总结--RabbitMq

一、RabbitMQ概念

RabbitMQ简介： RabbitMQ是一个由erlang开发的AMQP(Advanved Message Queue Protocol)的开源实现。

核心概念

Message
消息，消息是不具名的，它由消息头和消息体组成。消息体是不透明的，而消息头则由一系列的可选属性组成，这些属性包括routing-key（路由键）、priority（相对于其他消息的优先权）、delivery-mode（指出该消息可能需要持久性存储）等。

Publisher
消息的生产者，也是一个向交换器发布消息的客户端应用程序。

Exchange
交换器，用来接收生产者发送的消息并将这些消息路由给服务器中的队列。 Exchange有4种类型：direct(默认)，fanout,topic, 和headers，不同类型的Exchange转发消息的策略有所区别

Queue
消息队列，用来保存消息直到发送给消费者。它是消息的容器，也是消息的终点。一个消息可投入一个或多个队列。消息一直在队列里面，等待消费者连接到这个队列将其取走。

Binding
绑定，用于消息队列和交换器之间的关联。一个绑定就是基于路由键将交换器和消息队列连接起来的路由规则，所以可以将交换器理解成一个由绑定构成的路由表。Exchange和Queue的绑定可以是多对多的关系。

Connection
网络连接，比如一个TCP连接。

Channel
信道，多路复用连接中的一条独立的双向数据流通道。信道是建立在真实的TCP连接内的虚拟连接，AMQP命令都是通过信道发出去的，不管是发布消息、订阅队列还是接收消息，这些动作都是通过信道完成。因为对于操作系统来说建立和销毁 TCP都是非常昂贵的开销，所以引入了信道的概念以复用一条 TCP 连接。

Consumer
消息的消费者，表示一个从消息队列中取得消息的客户端应用程序。

Virtual Host
虚拟主机，表示一批交换器、消息队列和相关对象。虚拟主机是共享相同的身份认证和加密环境的独立服务器域。每个 vhost 本质上就是一个 mini 版RabbitMQ 服务器，拥有自己的队列、交换器、绑定和权限机制。vhost 是 AMQP概念的基础，必须在连接时指定，RabbitMQ 默认的 vhost 是 / 。

Broker
表示消息队列服务器实体

二、RabbitMQ运行机制

AMQP 中的消息路由
AMQP 中消息的路由过程和Java 开发者熟悉的 JMS 存在一些差别，AMQP 中增加了 Exchange和Binding 的角色。生产者把消息发布到 Exchange 上，消息最终到达队列并被消费者接收，而 Binding决定交换器的消息应该发送到那个队列

Exchange 类型
Exchange分发消息时根据类型的不同分发策略有区别，目前共四种类型：direct、fanout、topic、headers 。headers 匹配 AMQP 消息的 header 而不是路由键， headers 交换器和direct 交换器完全一致，但性能差很多，目前几乎用不到了，所以直接 看另外三种类型：

三、Docker安装RabbitMQ

docker run -d --name rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369 -p 25672:25672 -p 15671:15671 -p 15672:15672 rabbitmq:management

4369, 25672 (Erlang发现&集群端口)
5672, 5671 (AMQP端口)
15672 (web管理后台端口)
61613, 61614 (STOMP协议端口)
1883, 8883 (MQTT协议端口)
https://www.rabbitmq.com/networking.html

四、RabbitMQ整合

1.依赖

<dependency>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-amqp</artifactId>
    </dependency>

2.配置

spring.rabbitmq.host=192.168.0.105
spring.rabbitmq.port=5672
spring.rabbitmq.virtual-host=/

五、RabbitMQ消息确认机制-可靠抵达

#开启发送端确认
spring.rabbitmq.publisher-confirm-type=correlated

CorrelationData：用来表示当前消息唯一性。
消息只要被 broker 接收到就会执行 confirmCallback，如果是 cluster 模式，需要所有 broker 接收到才会调用 confirmCallback被 broker 接收到只能表示 message 已经到达服务器，并不能保证消息一定会被投递 到目标 queue 里。所以需要用到接下来的returnCallback 。

#开启发送端消息抵达队列的确认
spring.rabbitmq.publisher-returns=true
#只要抵达队列 以异步方式优先回调returnconfirm
spring.rabbitmq.template.mandatory=true

可靠抵达-Ack消息确认机制
消费者获取到消息，成功处理，可以回复Ack给Broker
basic.ack用于肯定确认；broker将移除此消息
basic.nack用于否定确认；可以指定broker是否丢弃此消息，可以批量
basic.reject用于否定确认；同上，但不能批量

默认自动ack，消息被消费者收到，就会从broker的queue中移除 •queue无消费者，消息依然会被存储，直到消费者消费
消费者收到消息，默认会自动ack。但是如果无法确定此消息是否被处理完成， 或者成功处理。我们可以开启手动ack模式
消息处理成功，ack()，接受下一个消息，此消息broker就会移除
消息处理失败，nack()/reject()，重新发送给其他人进行处理，或者容错处理后ack
消息一直没有调用ack/nack方法，broker认为此消息正在被处理，不会投递给别人，此时客户端断开，消息不会被broker移除，会投递给别人

#手动ack消息
spring.rabbitmq.listener.simple.acknowledge-mode=manual

@Configuration
public class MyRabbitConfig {
    @Autowired
    RabbitTemplate rabbitTemplate;
    @Bean
    public MessageConverter messageConverter(){
        return new Jackson2JsonMessageConverter();
    }

    /**
     * @Description 定制RabbitTemplate
     * @PostConstruct MyRabbitConfig对象创建完成以后 调用这个方法
     */
    @PostConstruct
    public void initRabbitTemplate(){
        //设置 确认回调
        rabbitTemplate.setConfirmCallback(new RabbitTemplate.ConfirmCallback() {
            /**
             * @Description
             * @Param correlationData: 当前消息的唯一关联数据(这个是消息的唯一id)
             * @Param b: 消息是否成功收到 只要消息抵达Broker b 就是true
             * @Param s: 失败的原因
             */
            @Override
            public void confirm(CorrelationData correlationData, boolean b, String s) {
                //服务器收到
                System.out.println("correlationData-"+correlationData+"ack-"+b+"s-"+s);
            }
        });
        //设置消息抵达队列的确认回调
        rabbitTemplate.setReturnsCallback(new RabbitTemplate.ReturnsCallback() {
            /**
             * @Description 只要消息没有投递给指定的队列 就触发这个失败回调
             * @Param returnedMessage:
             * @return void
             */
            @Override
            public void returnedMessage(ReturnedMessage returnedMessage) {
                //来到这报错误了 修改数据库当前消息的错误状态
                //投递失败的消息详细信息
                returnedMessage.getMessage();
                //回复的状态码
                returnedMessage.getReplyCode();
                //回复的内容
                returnedMessage.getReplyText();
                //当时这个消息发给那个交换机
                returnedMessage.getExchange();
                //当时这个消息用那个路由键
                returnedMessage.getRoutingKey();
                System.out.println(returnedMessage.toString());
            }
        });

        /**
         * @Description 消费端确认 (保证每个消息被正确消费 此时才可以让broker删除这个消息)
         *              默认是自动确认的 只要消息接受到 客户端会自动确认 服务端就会移除这个消息
         *              问题：
         *                  收到很多消息 自动回复给服务器 但是只有一个消息处理成功 宕机了 发生消息丢失
         *                  需要手动确认模式 只要我们没有告诉MQ 消息被签收 没有ACK 消息就一直是unacked状态
         *                  即使consumer宕机消息不会丢失 会重新变为ready 下一次有新的consumer连接进来 就发给他
         * @Param
         * @return void
         */

    }
}

六、RabbitMQ延时队列（实现定时任务）

场景：
比如未付款订单，超过一定时间后，系统自动取消订单并释放占有物品。
常用解决方案：
spring的 schedule 定时任务轮询数据库
缺点：
消耗系统内存、增加了数据库的压力、存在较大的时间误差
解决：rabbitmq的消息TTL和死信Exchange结合

七、如何保证消息可靠性

1、消息丢失

消息发送出去，由于网络问题没有抵达服务器
做好容错方法（try-catch），发送消息可能会网络失败，失败后要有重试机
制，可记录到数据库，采用定期扫描重发的方式
做好日志记录，每个消息状态是否都被服务器收到都应该记录
做好定期重发，如果消息没有发送成功，定期去数据库扫描未成功的消息进
行重发消息抵达Broker，Broker要将消息写入磁盘（持久化）才算成功。此时Broker尚未持久化完成，宕机。
publisher也必须加入确认回调机制，确认成功的消息，修改数据库消息状态。
自动ACK的状态下。消费者收到消息，但没来得及消息然后宕机
一定开启手动ACK，消费成功才移除，失败或者没来得及处理就noAck并重
新入队

2、消息重复

消息消费成功，事务已经提交，ack时，机器宕机。导致没有ack成功，Broker的消息重新由unack变为ready，并发送给其他消费者
消息消费失败，由于重试机制，自动又将消息发送出去
成功消费，ack时宕机，消息由unack变为ready，Broker又重新发送
消费者的业务消费接口应该设计为幂等性的。比如扣库存有工作单的状态标志
使用防重表（redis/mysql），发送消息每一个都有业务的唯 一标识，处理过就不用处理
rabbitMQ的每一个消息都有redelivered字段，可以获取是否 是被重新投递过来的，而不是第一次投递过来的

3、消息积压

消费者宕机积压
消费者消费能力不足积压
发送者发送流量太大
上线更多的消费者，进行正常消费
上线专门的队列消费服务，将消息先批量取出来，记录数据库，离线慢慢处理