SpringCloudStream对MQ的集成

前言：

最常用的MQ分为四种 1：ActiveMQ，2：RabbitMQ，3：RocketMQ，4：Kafka

他们有着各种各样的优点，也有一些缺点，每个公司都有不同的业务场景，也会选择不同的MQ，但是由于业务的快速更换，当从一个MQ换到另一个MQ就会非常痛苦，因为每个MQ的API都不一样，如果更换就会面临大量的代码的更改，稍有不慎，就会造成大量问题，为了像JDBC连接数据库一样连接MQ,就有了SpringCloudStream技术，SpringCloudStream技术本身只支持RabbitMQ和Kafka，阿里巴巴针对RocketMQ进行了开发，ActiveMQ在org.springframework.boot分组也得到了支持，

使用：

1：jar包的引用

   (1) ActiveMQ

    <dependency>

        <groupId>org.springframework.boot</groupId>

        <artifactId>spring-boot-starter-activemq</artifactId>

        <version>2.3.4.RELEASE</version>

    </dependency>

   (2) RabbitMQ

    <dependency>

        <groupId>org.springframework.cloud</groupId>

        <artifactId>spring-cloud-starter-stream-rabbit</artifactId>

        <version>3.0.8.RELEASE</version>

    </dependency>

  (3) RocketMQ

    <dependency>

        <groupId>com.alibaba.cloud</groupId>

        <artifactId>spring-cloud-starter-stream-rocketmq</artifactId>

        <version>2.2.0.RELEASE</version>

    </dependency>

  (4) Kafka

    <dependency>

        <groupId>org.springframework.cloud</groupId>

        <artifactId>spring-cloud-starter-stream-kafka</artifactId>

        <version>3.0.8.RELEASE</version>

    </dependency>
2：配置文件讲解

spring:
 cloud:
  # Spring Cloud Stream 配置项，对应 BindingServiceProperties 类
  stream:
    # Binding 配置项，对应 BindingProperties Map
    bindings:
      # 消息通道对象 
      #一般用output代表生产者
      erbadagang-output:
        # 设置生产者主题
        destination: ERBADAGANG-TOPIC-01
        # 设置发送出去的格式
        content-type: application/json 
      #一般用input代表消费者
      erbadagang-input:
        # 设置消费者主题 
        destination: ERBADAGANG-TOPIC-01
        # 设置接收的格式 
        content-type: application/json 
        #设置分组
        group:erbadagang-topic-test 
    # SpringCloudStreamMQ的配置项，这里以RocketMQ为例
    rocketmq:
      # MQBinder 配置项，对应 RocketMQBinderConfigurationProperties 类
      binder:
        # MQ的服务地址
        name-server: 172.21.16.15:9876
      # RocketMQ 自定义 Binding 配置项，对应 RocketMQBindingProperties Map
      bindings:    
        nominate-map-input:
           # RocketMQ Consumer 配置项，对应 RocketMQConsumerProperties 类
           consumer:
               enabled: true  # 是否开启消费，默认为 true
               broadcasting: true # 是否使用广播消费，默认为 false

3.MQ消息通道对象之Source类的书写

import org.springframework.cloud.stream.annotation.Output;
import org.springframework.messaging.MessageChannel;

public interface MQSource {
    //这里使用Output注解标识输出通道，
    @Output("erbadagang-output")
    MessageChannel erbadagangOutput();
}

4.MQ消息通道对象之Sink类的书写

import org.springframework.cloud.stream.annotation.Input;
import org.springframework.messaging.SubscribableChannel;

public interface MQSink {
    String ERBADAGANG_INPUT = "erbadagang-input";
    //这里使用Input注解标识输入通道，
    @Input(ERBADAGANG_INPUT)
    SubscribableChannel demo01Input();
}

5生产者Controller

import com.test.MQSource;
import org.apache.rocketmq.common.message.MessageConst;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.cloud.stream.annotation.EnableBinding;
import org.springframework.messaging.Message;
import org.springframework.messaging.support.MessageBuilder;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;

import java.util.Random;

@Slf4j
@EnableBinding(MQSource.class)
@RestController
@RequestMapping("/test")
public class TestProducerController {
    
    @Autowired
    private MQSource mqSource;//<1>

    @GetMapping("/send")
    public boolean send() {
        //创建 Spring Message 对象
        Message<String> springMessage = MessageBuilder.withPayload(new Random().nextInt()+"").build();
        //发送消息
        return mqSource.erbadagangOutput().send(springMessage);
    }

    @GetMapping("/send_delay")
    public boolean sendDelay() {
        // 创建 Spring Message 对象
        Message<String> springMessage = MessageBuilder.withPayload(new Random().nextInt()+"")
                .setHeader(MessageConst.PROPERTY_DELAY_TIME_LEVEL, "3") // 设置延迟级别为 3，10 秒后消费。
                .build();
        // 发送消息
        boolean sendResult = mqSource.erbadagangOutput().send(springMessage);
        log.info("[sendDelay][发送消息完成, 结果 = {}]", sendResult);
        return sendResult;
    }

    /**
     * 发送带有3个tag的message
     *
     * @return
     */
    @GetMapping("/send_tag")
    public boolean sendTag() {
        for (String tag : new String[]{"trek", "specialized", "look"}) {
            // 创建 Spring Message 对象
            Message<String> springMessage = MessageBuilder.withPayload(new Random().nextInt()+"")
                    .setHeader(MessageConst.PROPERTY_TAGS, tag) // 设置 Tag
                    .setHeader(MessageConst.PROPERTY_KEYS, tag) // 设置 key，方便在控制台查找。
                    .build();
            // 发送消息
            mqSource.erbadagangOutput().send(springMessage);
        }
        return true;
    }
}

6消费者Controller

import com.erbadagang.springcloudalibaba.stream.rocketmq.consumer.message.Demo01Message; 
import lombok.extern.slf4j.Slf4j;
import org.springframework.cloud.stream.annotation.EnableBinding;
import org.springframework.cloud.stream.annotation.StreamListener;
import org.springframework.messaging.handler.annotation.Payload;
import org.springframework.stereotype.Component;

@EnableBinding(MQSink.class)
@Component
public class TestConsumerController {
    @StreamListener(MQSink.ERBADAGANG_INPUT)
    public void onMessage(@Payload String message) {
        log.info("[onMessage][线程编号:{} 消息内容：{}]", Thread.currentThread().getId(), message);
    }
}

7如果想将生产者和消费者写在一起有两种选择，

(1) 将Source和Sink写在一个资源类里，

(2)@EnableBinding({MQSink.class,MQSource.class})

8 如果消费异常， 则会启动重试机制，默认会重试三次，

//可通过设置maxAttempts参数设置最大重试次数

spring.cloud.stream.bindings.erbadagang-input.consumer.maxAttempts=5

//第一次重试的毫秒数

spring.cloud.stream.bindings.input1.consumer.backOffInitialInterval=500

//每次重试间隔时间是初次的倍数

spring.cloud.stream.bindings.input1.consumer.backOffMultiplier=3

//重试最大的时间

spring.cloud.stream.bindings.input1.consumer.backOffMaxInterval=8000

9 重试次数用尽后会转发到异常消费接口

如果想针对指定主题的异常进行处理，则可以在处理接口上声明

@ServiceActivator(inputChannel = "<destination>.<group>.errors")

public void handleConsumeUserError(ErrorMessage message) {

log.info("收到处理失败的消息{}", message.getPayload());

}

如果想写兜底则可以这样设置

@StreamListener("errorChannel")

public void handleErrors(ErrorMessage message) {

log.info("默认的消息失败处理器收到处理失败的消息: {}，headers：{}", message.getOriginalMessage(), message.getHeaders());

}