RabbitMQ：发布确认+交换机

1、发布确认

1.1、发布确认原理

生产者将信道设置成 confirm 模式，一旦信道进入 confirm 模式，所有在该信道上面发布的消息都将会被指派一个唯一的 ID（从 1 开始），一旦消息被投递到所有匹配的队列之后， broker 就会发送一个确认给生产者（包含消息的唯一 ID），这就使得生产者知道消息已经正确到达目的队列了，如果消息和队列是可持久化的，那么确认消息会在将消息写入磁盘之后发出， broker 回传给生产者的确认消息中 delivery-tag 域包含了确认消息的序列号，此外 broker 也可以设置 basic.ack 的 multiple 域，表示到这个序列号之前的所有消息都已经得到了处理。

confirm 模式最大的好处在于他是异步的，一旦发布一条消息，生产者应用程序就可以在等信道返回确认的同时继续发送下一条消息，当消息最终得到确认之后，生产者应用便可以通过回调方法来处理该确认消息，如果 RabbitMQ 因为自身内部错误导致消息丢失，就会发送一条 nack 消息，生产者应用程序同样可以在回调方法中处理该 nack 消息。

1.2、发布确认的策略

1.2.1、开启发布确认的方法

发布确认默认是没有开启的，如果要开启需要调用方法 confirmSelect，每当你要想使用发布确认，都需要在 channel 上调用该方法。

//开启确认
channel.confirmSelect();

1.2.2、单个确认发布

这是一种简单的确认方式，它是一种同步确认发布的方式，也就是发布一个消息之后只有它被确认发布，后续的消息才能继续发布，waitForConfirmsOrDie(long)这个方法只有在消息被确认的时候才返回，如果在指定时间范围内这个消息没有被确认那么它将抛出异常。

这种确认方式有一个最大的缺点就是：发布速度特别的慢， 因为如果没有确认发布的消息就会阻塞所有后续消息的发布，这种方式最多提供每秒不超过数百条发布消息的吞吐量。当然对于某些应用程序来说这可能已经足够了。

//1、单个确认
public static void publishMessageIndividually() throws Exception {
    Channel channel = RabbitMqUtils.getChannel();

    //队列的声明
    String queueName = UUID.randomUUID().toString();
    channel.queueDeclare(queueName,false,false,false,null);
    //开启确认
    channel.confirmSelect();
    //开始时间
    long begin = System.currentTimeMillis();

    //批量发消息
    for (int i = 0; i < MESSAGE_COUNT; i++) {
        String message = i + "";
        channel.basicPublish("",queueName,null,message.getBytes(StandardCharsets.UTF_8));
        //单个消息就马上进行发布确认
        boolean flag = channel.waitForConfirms();
        if (flag){
            System.out.println("消息发送成功");
        }
    }

    //结束时间
    long end = System.currentTimeMillis();
    System.out.println("发布" + MESSAGE_COUNT + "个单独确认消息，耗时" + (end - begin) + "ms");
}

1.2.3、批量确认发布

上面那种方式非常慢，与单个等待确认消息相比，先发布一批消息然后一起确认可以极大地提高吞吐量，当然这种方式的缺点就是:当发生故障导致发布出现问题时，不知道是哪个消息出现问题了，我们必须将整个批处理保存在内存中，以记录重要的信息而后重新发布消息。当然这种方案仍然是同步的，也一样阻塞消息的发布。

//批量发布确认
public static void publishMessageBatch() throws Exception {
    Channel channel = RabbitMqUtils.getChannel();

    //队列的声明
    String queueName = UUID.randomUUID().toString();
    channel.queueDeclare(queueName,false,false,false,null);
    //开启确认
    channel.confirmSelect();
    //开始时间
    long begin = System.currentTimeMillis();

    //批量确认消息大小
    int batchSize = 100;

    //批量发送消息  批量发布确认
    for (int i = 0; i < MESSAGE_COUNT; i++) {
        String message = i + "";
        channel.basicPublish("",queueName,null,message.getBytes(StandardCharsets.UTF_8));

        //判断达到100条信息的时候  批量确认一次
        if (i%batchSize == 0){
            //发布确认
            channel.waitForConfirms();
        }
    }

    //结束时间
    long end = System.currentTimeMillis();
    System.out.println("发布" + MESSAGE_COUNT + "个批量确认消息，耗时" + (end - begin) + "ms");
}

1.2.4、异步确认发布

异步确认虽然编程逻辑比上两个要复杂，但是性价比最高，无论是可靠性还是效率都没得说，他是利用回调函数来达到消息可靠性传递的，这个中间件也是通过函数回调来保证是否投递成功，下面就让我们来详细讲解异步确认是怎么实现的。

如何处理异步未确认的消息？

最好的解决的解决方案就是把未确认的消息放到一个基于内存的能被发布线程访问的队列，比如说用 ConcurrentLinkedQueue 这个队列在 confirm callbacks 与发布线程之间进行消息的传递。

//异步发布确认
public static void publishMessageAsync() throws Exception {
    Channel channel = RabbitMqUtils.getChannel();

    //队列的声明
    String queueName = UUID.randomUUID().toString();
    channel.queueDeclare(queueName,false,false,false,null);
    //开启确认
    channel.confirmSelect();

    /**
     * 线程安全有序的一个哈希表  适用于高并发的情况下
     * 1、轻松地将序号与消息进行关联
     * 2、轻松地批量删除条目  只要给到序号
     * 3、支持高并发（多线程）
     */
    ConcurrentSkipListMap<Long,String> outstandingConfirms =
            new ConcurrentSkipListMap<>();


    //消息的监听器  监听哪些消息成功，哪些消息失败
    //消息确认成功回调函数
    ConfirmCallback ackCallback = (deliveryTag,multiple)->{
        if (multiple){
        //2、删除掉已经确认的消息  剩下的就是未确认的消息
        ConcurrentNavigableMap<Long, String> confirmed =
                outstandingConfirms.headMap(deliveryTag);
        confirmed.clear();
        }else {
           outstandingConfirms.remove(deliveryTag);
        }
        System.out.println("确认的消息：" + deliveryTag);
    };
    //消息确认失败回调函数
    /**
     * deliveryTag：消息的标识
     * multiple：是否批量确认
     */
    ConfirmCallback nackCallback = (deliveryTag,multiple)->{
        //3、打印一下未确认的消息都有哪些
        String message = outstandingConfirms.get(deliveryTag);
        System.out.println("未确认的消息是：" + message + ":::未确认的消息：" + deliveryTag);
    };
    channel.addConfirmListener(ackCallback,nackCallback); //异步通知

    //开始时间
    long begin = System.currentTimeMillis();

    //批量发送消息
    for (int i = 0; i < MESSAGE_COUNT; i++) {
        String message = i + "";
        channel.basicPublish("",queueName,null,message.getBytes(StandardCharsets.UTF_8));
        //1、此处记录下所有要发送的消息  消息的总和
        outstandingConfirms.put(channel.getNextPublishSeqNo(),message);
    }

    //结束时间
    long end = System.currentTimeMillis();
    System.out.println("发布" + MESSAGE_COUNT + "个异步发布确认消息，耗时" + (end - begin) + "ms");
}

1.2.5、以上3种发布确认速度对比

• 单个确认发布

  同步等待确认，简单，但吞吐量非常有限

• 批量发布消息

  批量同步等待确认，简单，合理的吞吐量，一旦出现问题但很难推断出是那条消息出现了问题。

• 异步处理

  最佳性能和资源使用，在出现错误的情况下可以很好地控制，但是实现起来稍微难些

//批量发消息的个数
public static final int MESSAGE_COUNT = 1000;

public static void main(String[] args) throws Exception {
    //1、单个确认
    ConfirmMessage.publishMessageIndividually();
    //发布1000个单独确认消息，耗时622ms
    //2、批量确认
    ConfirmMessage.publishMessageBatch();
    //发布1000个批量确认消息，耗时108ms
    //3、异步批量确认
    ConfirmMessage.publishMessageAsync();
    //发布1000个异步发布确认消息，耗时49ms
}

---

2、交换机

在上一节中，我们创建了一个工作队列。我们假设的是工作队列背后，每个任务都恰好交付给一个消费者（工作进程）。在这一部分中，我们将做一些完全不同的事情——我们将消息传达给多个消费者。这种模式称为 ”发布/订阅”。

为了说明这种模式，我们将构建一个简单的日志系统。它将由两个程序组成：第一个程序将发出日志消息，第二个程序是消费者。其中我们会启动两个消费者，其中一个消费者接收到消息后把日志存储在磁盘，另外一个消费者接收到消息后把消息打印在屏幕上，事实上第一个程序发出的日志消息将广播给所有消费者者。

2.1、Exchanges

2.1.1、概念

RabbitMQ 消息传递模型的核心思想是: 生产者生产的消息从不会直接发送到队列。实际上，通常生产者甚至都不知道这些消息传递传递到了哪些队列中。

相反， 生产者只能将消息发送到交换机（exchange），交换机工作的内容非常简单，一方面它接收来自生产者的消息，另一方面将它们推入队列。交换机必须确切知道如何处理收到的消息。是应该把这些消息放到特定队列还是说把他们到许多队列中还是说应该丢弃它们。这就的由交换机的类型来决定。

2.1.2、Exchanges的类型

总共有以下类型：

• 直接（direct）
• 主题（topic）
• 标题（headers）
• 扇出（fanout）

2.1.3、无名Exchange

在本教程的前面部分我们对 exchange 一无所知，但仍然能够将消息发送到队列。之前能实现的原因是因为我们使用的是默认交换，我们通过空字符串(“”)进行标识。

channel.basicPublish("",queueName,null,message.getBytes(StandardCharsets.UTF_8));

第一个参数是交换机的名称。空字符串表示默认或无名称交换机：消息能路由发送到队列中其实是由 routingKey(bindingkey)绑定 key 指定的，如果它存在的话。

2.2、临时队列

之前的章节我们使用的是具有特定名称的队列（还记得 hello 和 ack_queue 吗？）。队列的名称我们来说至关重要-我们需要指定我们的消费者去消费哪个队列的消息。

每当我们连接到 Rabbit 时，我们都需要一个全新的空队列，为此我们可以创建一个具有随机名称的队列，或者能让服务器为我们选择一个随机队列名称那就更好了。其次一旦我们断开了消费者的连接，队列将被自动删除。

创建临时队列的方式如下:

//声明一个临时队列
String queueName = channel.queueDeclare().getQueue();

2.3、绑定（bindings）

什么是 bingding 呢， binding 其实是 exchange 和 queue 之间的桥梁，它告诉我们 exchange 和那个队列进行了绑定关系。比如说下面这张图告诉我们的就是 X 与 Q1 和 Q2 进行了绑定。

2.4、Fanout

2.4.1、简介

Fanout 这种类型非常简单。正如从名称中猜到的那样，它是将接收到的所有消息广播到它知道的所有队列中。系统中默认有些 exchange 类型。

2.4.2、实战

public class ReceiveLogs01 {

    //交换机的名称
    public static final String EXCHANGE_NAME = "logs";

    public static void main(String[] args) throws Exception {
        Channel channel = RabbitMqUtils.getChannel();

        //声明一个交换机
        channel.exchangeDeclare(EXCHANGE_NAME,"fanout");
        //声明一个临时队列
        String queueName = channel.queueDeclare().getQueue();
        //绑定交换机与队列
        channel.queueBind(queueName,EXCHANGE_NAME,"");
        System.out.println("等待接收消息，把接收到的消息打印在屏幕上......");

        //接受消息
        DeliverCallback deliverCallback = (consumerTag,message)->{
            System.out.println("ReceiveLogs01控制台打印接收到的消息：" + new String(message.getBody(), StandardCharsets.UTF_8));
        };
        //消费者取消消息时回调接口


        channel.basicConsume(queueName,true,deliverCallback,consumerTag -> {});
    }
}

public class ReceiveLogs02 {

    //交换机的名称
    public static final String EXCHANGE_NAME = "logs";

    public static void main(String[] args) throws Exception {
        Channel channel = RabbitMqUtils.getChannel();

        //声明一个交换机
        channel.exchangeDeclare(EXCHANGE_NAME,"fanout");
        //声明一个临时队列
        String queueName = channel.queueDeclare().getQueue();
        //绑定交换机与队列
        channel.queueBind(queueName,EXCHANGE_NAME,"");
        System.out.println("等待接收消息，把接收到的消息打印在屏幕上......");

        //接受消息
        DeliverCallback deliverCallback = (consumerTag,message)->{
            System.out.println("ReceiveLogs02控制台打印接收到的消息：" + new String(message.getBody(), StandardCharsets.UTF_8));
        };
        //消费者取消消息时回调接口


        channel.basicConsume(queueName,true,deliverCallback,consumerTag -> {});
    }
}

public class EmitLog {
    //交换机的名称
    public static final String EXCHANGE_NAME = "logs";

    public static void main(String[] args) throws Exception {
        Channel channel = RabbitMqUtils.getChannel();

        //channel.exchangeDeclare(EXCHANGE_NAME,"fauout");

        Scanner scanner = new Scanner(System.in);
        while (scanner.hasNext()){
            String message = scanner.next();
            channel.basicPublish(EXCHANGE_NAME,"",null,message.getBytes(StandardCharsets.UTF_8));
            System.out.println("生产者发出消息：" + message);
        }
    }
}

2.5、Direct Exchange

在上一节中，我们构建了一个简单的日志记录系统。我们能够向许多接收者广播日志消息。在本节我们将向其中添加一些特别的功能-比方说我们只让某个消费者订阅发布的部分消息。例如我们只把严重错误消息定向存储到日志文件(以节省磁盘空间)，同时仍然能够在控制台上打印所有日志消息。

我们再次来回顾一下什么是 bindings，绑定是交换机和队列之间的桥梁关系。也可以这么理解：队列只对它绑定的交换机的消息感兴趣。绑定用参数： routingKey 来表示也可称该参数为 binding key，创建绑定我们用代码：channel.queueBind(queueName, EXCHANGE_NAME, "routingKey");绑定之后的意义由其交换类型决定。

2.5.1、介绍

上一节中的我们的日志系统将所有消息广播给所有消费者，对此我们想做一些改变，例如我们希望将日志消息写入磁盘的程序仅接收严重错误（errros），而不存储哪些警告（warning）或信息（info）日志消息避免浪费磁盘空间。 Fanout 这种交换类型并不能给我们带来很大的灵活性——它只能进行无意识的广播，在这里我们将使用 direct 这种类型来进行替换，这种类型的工作方式是，消息只去到它绑定的 routingKey 队列中去。

在上面这张图中，我们可以看到 X 绑定了两个队列，绑定类型是 direct。队列Q1 绑定键为 orange，队列 Q2 绑定键有两个：一个绑定键为 black，另一个绑定键为 green。

在这种绑定情况下，生产者发布消息到 exchange 上，绑定键为 orange 的消息会被发布到队列 Q1。绑定键为 blackgreen 和的消息会被发布到队列 Q2，其他消息类型的消息将被丢弃。

2.5.2、多重绑定

当然如果 exchange 的绑定类型是 direct， 但是它绑定的多个队列的 key 如果都相同，在这种情况下虽然绑定类型是 direct 但是它表现的就和 fanout 有点类似了，就跟广播差不多，如上图所示。

2.5.3、实战

public class ReceiveLogsDirect01 {

    //交换机的名称
    public static final String EXCHANGE_NAME = "direct_logs";

    public static void main(String[] args) throws Exception {
        Channel channel = RabbitMqUtils.getChannel();

        //声明一个交换机
        channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
        //声明一个队列
        channel.queueDeclare("console",false,false,false,null);
        //绑定交换机与队列
        channel.queueBind("console",EXCHANGE_NAME,"info");
        channel.queueBind("console",EXCHANGE_NAME,"warning");
        System.out.println("等待接收消息，把接收到的消息打印在屏幕上......");

        //接受消息
        DeliverCallback deliverCallback = (consumerTag, message)->{
            System.out.println("ReceiveLogs01控制台打印接收到的消息：" + new String(message.getBody(), StandardCharsets.UTF_8));
        };
        //消费者取消消息时回调接口

        channel.basicConsume("console",true,deliverCallback,consumerTag -> {});
    }
}

public class ReceiveLogsDirect02 {

    //交换机的名称
    public static final String EXCHANGE_NAME = "direct_logs";

    public static void main(String[] args) throws Exception {
        Channel channel = RabbitMqUtils.getChannel();

        //声明一个交换机
        channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.DIRECT);
        //声明一个队列
        channel.queueDeclare("disk",false,false,false,null);
        //绑定交换机与队列
        channel.queueBind("disk",EXCHANGE_NAME,"error");
        System.out.println("等待接收消息，把接收到的消息打印在屏幕上......");

        //接受消息
        DeliverCallback deliverCallback = (consumerTag, message)->{
            System.out.println("ReceiveLogs02控制台打印接收到的消息：" + new String(message.getBody(), StandardCharsets.UTF_8));
        };
        //消费者取消消息时回调接口

        channel.basicConsume("disk",true,deliverCallback,consumerTag -> {});
    }
}

public class DirectLog {
    //交换机的名称
    public static final String EXCHANGE_NAME = "direct_logs";

    public static void main(String[] args) throws Exception {
        Channel channel = RabbitMqUtils.getChannel();

        Scanner scanner = new Scanner(System.in);
        while (scanner.hasNext()){
            String message = scanner.next();
            channel.basicPublish(EXCHANGE_NAME,"error",null,message.getBytes(StandardCharsets.UTF_8));
            System.out.println("生产者发出消息：" + message);
        }

    }
}

2.6、Topics

2.6.1、Topic的要求

发送到类型是 topic 交换机的消息的 routing_key 不能随意写，必须满足一定的要求，它必须是一个单词列表，以点号分隔开。这些单词可以是任意单词，比如说： “stock.usd.nyse”, “nyse.vmw”, “quick.orange.rabbit” 这种类型的。当然这个单词列表最多不能超过 255 个字节。

• *（星号）可以代替一个单词
• #（井号）可以替代零个或多个单词

当一个队列绑定键是#，那么这个队列将接收所有数据，就有点像 fanout 了

如果队列绑定键当中没有 # 和 * 出现，那么该队列绑定类型就是 direct 了

2.6.2、实战

public class ReceiveLogsTopic01 {
    //交换机名字
    public static final String EXCHANGE_NAME = "topic_logs";

    public static void main(String[] args) throws Exception {
        Channel channel = RabbitMqUtils.getChannel();

        //声明一个交换机
        channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
        //声明一个队列
        String queueName = "Q1";
        channel.queueDeclare(queueName,false,false,false,null);
        //绑定交换机与队列
        channel.queueBind(queueName,EXCHANGE_NAME,"*.orange.*");
        System.out.println("等待接收消息，把接收到的消息打印在屏幕上......");

        //接受消息
        DeliverCallback deliverCallback = (consumerTag, message)->{
            System.out.println("ReceiveLogsTopic01控制台打印接收到的消息：" + queueName +
                    "    绑定键：" + message.getEnvelope().getRoutingKey() + new String(message.getBody(), StandardCharsets.UTF_8));
        };
        //消费者取消消息时回调接口

        channel.basicConsume(queueName,true,deliverCallback,consumerTag -> {});
    }
}

public class ReceiveLogsTopic02 {
    //交换机名字
    public static final String EXCHANGE_NAME = "topic_logs";

    public static void main(String[] args) throws Exception {
        Channel channel = RabbitMqUtils.getChannel();

        //声明一个交换机
        channel.exchangeDeclare(EXCHANGE_NAME, BuiltinExchangeType.TOPIC);
        //声明一个队列
        String queueName = "Q2";
        channel.queueDeclare(queueName,false,false,false,null);
        //绑定交换机与队列
        channel.queueBind(queueName,EXCHANGE_NAME,"*.*.rabbit");
        channel.queueBind(queueName,EXCHANGE_NAME,"lazy.#");
        System.out.println("等待接收消息，把接收到的消息打印在屏幕上......");

        //接受消息
        DeliverCallback deliverCallback = (consumerTag, message)->{
            System.out.println("ReceiveLogsTopic01控制台打印接收到的消息：" + queueName +
                    "    绑定键：" + message.getEnvelope().getRoutingKey() + new String(message.getBody(), StandardCharsets.UTF_8));
        };
        //消费者取消消息时回调接口

        channel.basicConsume(queueName,true,deliverCallback,consumerTag -> {});
    }
}

public class EmitLogTopic {
    //交换机名字
    public static final String EXCHANGE_NAME = "topic_logs";

    public static void main(String[] args) throws Exception {
        Channel channel = RabbitMqUtils.getChannel();

        Map<String, String> bindingKeyMap = new HashMap<>();
        bindingKeyMap.put("quick.orange.rabbit","被队列 Q1Q2 接收到");
        bindingKeyMap.put("lazy.orange.elephant","被队列 Q1Q2 接收到");
        bindingKeyMap.put("quick.orange.fox","被队列 Q1 接收到");
        bindingKeyMap.put("lazy.brown.fox","被队列 Q2 接收到");
        bindingKeyMap.put("lazy.pink.rabbit","虽然满足两个绑定但只被队列 Q2 接收一次");
        bindingKeyMap.put("quick.brown.fox","不匹配任何绑定不会被任何队列接收到会被丢弃");
        bindingKeyMap.put("quick.orange.male.rabbit","是四个单词不匹配任何绑定会被丢弃");
        bindingKeyMap.put("lazy.orange.male.rabbit","是四个单词但匹配 Q2");

        for (Map.Entry<String, String> bindingKeyEntry:
                bindingKeyMap.entrySet()){
            String bindingKey = bindingKeyEntry.getKey();
            String message = bindingKeyEntry.getValue();
            channel.basicPublish(EXCHANGE_NAME,bindingKey, null,
                    message.getBytes(StandardCharsets.UTF_8));
            System.out.println("生产者发出消息" + message);
        }
    }
}