MQ技术 实用篇
初识MQ
MQ(Message Queue)消息队列,是基础数据结构中“先进先出”的一种数据结构。一般用来解决应用解耦,异步消息,流量削峰等问题,实现高性能,高可用,可伸缩和最终一致性架构。
同步调用
概念:发出请求,等到响应结果,才会继续下一个
优点:时效性强
暴露出的问题:
1、耦合度高
2、性能下降
3、资源浪费
4、级联失败(阻塞)
异步调用
概念:发出请求时,不需要立即回复,可事后进行相关回复操作(只负责发送,不需要有确定性回复)
优点:效率高,降低耦合、提升吞吐量、故障隔离、流量削峰
缺点:依赖Broker的可靠性、业务逻辑架构复杂
MQ常见技术
RabbitMQ快速入门
下载镜像
1、下载镜像
在线拉取
docker pull rabbitmq:3.8-management
安装MQ
2、安装MQ
执行下面的命令来运行MQ容器:
docker run \
-e RABBITMQ_DEFAULT_USER=root \
-e RABBITMQ_DEFAULT_PASS=123321 \
-v mq-plugins:/plugins \
--name mq \
--hostname mq \
-p 15672:15672 \
-p 5672:5672 \
-d \
rabbitmq:3.8-management
15672端口:客户端端口
5672端口:服务器端口
访问http://124.223.80101.:15672/ (Linux虚拟机ip+RabbitMQ端口号)
输入账号:
root(举例,要从具体实际出发)
输入密码:
123321(举例,要从具体实际出发)
图例效果
01输入用户名、密码
02登录成功后页面
启动mq
docker start mq #启动mq
docker ps -a #查看所有容器详情
MQ结构和概念
生产者:发送消息的模块
交换机:只负责转发(分发)消息
队列:负责缓存消息
虚拟主机:相互隔离
消费者:使用消息模块的
消息模型介绍
基本消息队列
消费者创建队列是为了避免队列不存在,属于一种保险机制
Spring-AMQP
Spring-AMQP概念:消息队列规范,基于AMQP协议的一套API规范,基于Spring—rabbit底层的默认实现
基本介绍
AMQP案例
五种消息的工作模型
1、基础消息队列模型
案例
基础消息队列的发送和接收
消息发送
步骤01
1、导入依赖
<!--AMQP依赖,包含RabbitMQ-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
步骤02
配置生产者模块中yml.文件
logging:
pattern:
dateformat: MM-dd HH:mm:ss:SSS
spring:
rabbitmq:
host: 124.223.80.101 #rabbitmq的ip地址(举例,要从实际出发)
port: 5672 #端口号
username: root #用户名(举例,具体可自定义)
password: 123321 #密码(举例,具体可自定义)
virtual-host: / #虚拟主机
编写测试类
package cn.itcast.mq.spring;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;
@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringAmqpTest {
@Autowired
private RabbitTemplate rabbitTemplate;
@Test
public void TestSendMessageToOne(){ //测试基础队列消息模型——发送消息
String queumename="simple.queue"; //队列名称
String message="hello,simplequeume!!!"; //消息
rabbitTemplate.convertAndSend(queumename,message); //发送消息
}
}
效果展示
01
02
03
总结
2、消息接收
步骤
01、引入依赖
<!--AMQP依赖,包含RabbitMQ-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-amqp</artifactId>
</dependency>
02、配置消费者模块中yml文件
logging:
pattern:
dateformat: MM-dd HH:mm:ss:SSS
spring:
rabbitmq:
host: 124.223.80.101 #SpringAmqp的IP地址(举例,要从具体实际出发)
port: 5672 #端口号
username: root #用户名
password: 123321 #密码
virtual-host: / #虚拟主机
03、编写消费逻辑
package cn.itcast.mq;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;
@Component
public class SpringRabbitListener {
@RabbitListener(queues ="simple.queue") //指定所要监听的队列
public void ListenerSimplequeue(String msg){
System.out.println("消费者接收到的数据是:"+msg);
}
}
4、启动控制类
控制台效果展示
同时再访问队列时发现
说明rabbitmq阅后即焚,消费掉后就没有了!!!
消息一旦消费就会从队列中删除,rabbitMQ没有消息回溯功能
总结
2、工作队列模型
在工作队列中有多个消费者时,默认机制 采用轮询机制
消费预取限制机制
代码实现
logging:
pattern:
dateformat: MM-dd HH:mm:ss:SSS
spring:
rabbitmq:
host: 124.223.80.101 #SpringAmqp的IP地址(举例,要从具体实际出发)
port: 5672 #端口号
username: root #用户名
password: 123321 #密码
virtual-host: / #虚拟主机
listener:
simple:
prefetch: 1 #消费预取限制机制, #每次只能获取一条消息,处理完成才能获取下一个消息
3、发布、订阅模型
常见交换机类型
1、广播(fanout)
2、路由(direct)
3、话题(topic)
3-1、广播模式
广播交换机类型:发的消息和交换机绑定,所有队列的数据都相同
案例
步骤01 定义交换机、队列,进行绑定
代码实现
package cn.itcast.mq.config;
import org.springframework.amqp.core.Binding;
import org.springframework.amqp.core.BindingBuilder;
import org.springframework.amqp.core.FanoutExchange;
import org.springframework.amqp.core.Queue;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;
@Configuration
public class FanoutConfig {
/**
* 声明交换机
* @return Fanout类型交换机
*/
@Bean
public FanoutExchange fanoutExchange(){
return new FanoutExchange("itcast.fanout");
}
/**
* 第1个队列
*/
@Bean
public Queue fanoutQueue1(){
return new Queue("fanout.queue1");
}
/**
* 绑定队列和交换机
*/
@Bean
public Binding bindingQueue1(Queue fanoutQueue1, FanoutExchange fanoutExchange){
return BindingBuilder.bind(fanoutQueue1).to(fanoutExchange);
}
/**
* 第2个队列
*/
@Bean
public Queue fanoutQueue2(){
return new Queue("fanout.queue2");
}
/**
* 绑定队列和交换机
*/
@Bean
public Binding bindingQueue2(Queue fanoutQueue2, FanoutExchange fanoutExchange){
return BindingBuilder.bind(fanoutQueue2).to(fanoutExchange);
}
}
02 消息接收
代码实现
package cn.itcast.mq;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;
@Component
public class SpringRabbitListener {
@RabbitListener(queues ="fanout.queue1") //监听队列
public void Listenerfanout1(String msg){
System.out.println("消费者1...接收到的数据是:"+msg);
}
@RabbitListener(queues ="fanout.queue2") //监听队列
public void Listenerfanout2(String msg){
System.out.println("消费者2...接收到的数据是:"+msg);
}
}
03 消息发送
代码实现
@RabbitListener(queues = "fanout.queue1")
public void listenFanoutQueue1(String msg) {
System.out.println("消费者1接收到Fanout消息:【" + msg + "】");
}
@RabbitListener(queues = "fanout.queue2")
public void listenFanoutQueue2(String msg) {
System.out.println("消费者2接收到Fanout消息:【" + msg + "】");
}
效果展示
01
02
03绑定关系
04控制台接收到的消息
总结
3-2路由模式
案例
代码实现
01 消费者声明队列、交换机、路由键(通过路由键来分配具体给哪个队列),接收消息
package cn.itcast.mq;
import org.springframework.amqp.rabbit.annotation.Exchange;
import org.springframework.amqp.rabbit.annotation.Queue;
import org.springframework.amqp.rabbit.annotation.QueueBinding;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.stereotype.Component;
@Component
public class SpringRabbitListener {
//路由模型
@RabbitListener(bindings = @QueueBinding(
value = @Queue("direct.queue1"), //队列
exchange = @Exchange("itcast.direct",type = ExchangeTypes.DIRECT), //交换机
key = {"red","blue"} //键
)) //监听队列
public void Listenerdirect1(String msg){
System.out.println("消费者1...接收到的数据是:"+msg);
}
@RabbitListener(bindings = @QueueBinding(
value =@Queue("direct.queue2"), //队列
exchange = @Exchange("itcast.direct",type = ExchangeTypes.DIRECT), //交换机
key = {"red","yellow"} //键
)) //监听队列
public void Listenerdirect2(String msg){
System.out.println("消费者2...接收到的数据是:"+msg);
}
}
02、生产者发送消息
package cn.itcast.mq.spring;
import org.junit.Test;
import org.junit.runner.RunWith;
import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.test.context.SpringBootTest;
import org.springframework.test.context.junit4.SpringRunner;
@RunWith(SpringRunner.class)
@SpringBootTest
public class SpringAmqpTest {
@Autowired
private RabbitTemplate rabbitTemplate;
@Test
public void TestSendMessageToDirect(){ //测试路由模型
String exchangename="itcast.direct";
String message="hello,red!!!"; //消息
rabbitTemplate.convertAndSend(exchangename,"red",message); //发送消息
}
}
测试01
注意:测试输入routekey(路由键为red)
设置效果如图
效果展示
测试02
注意:测试输入routekey(路由键为yellow)
设置效果如图
效果展示
总结
使用路由模型可以进行广播发送到每一个与交换机绑定的队列,也可以进行单独发送到某个与交换机绑定的队列队列
可以替代之前的广播模型
3-3、主题模式
案例
代码展示
01消费者声明队列、交换机、路由键(通过路由键来分配具体给哪个队列),接收消息
package cn.itcast.mq;
import org.springframework.amqp.core.ExchangeTypes;
import org.springframework.amqp.rabbit.annotation.Exchange;
import org.springframework.amqp.rabbit.annotation.Queue;
import org.springframework.amqp.rabbit.annotation.QueueBinding;
import org.springframework.amqp.rabbit.annotation.RabbitListener;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.stereotype.Component;
@Component
public class SpringRabbitListener {
//主题模型
@RabbitListener(bindings = @QueueBinding(//监听队列
value = @Queue("topic.queue1"),//队列名称
exchange = @Exchange(value = "itcast.topic",type = ExchangeTypes.TOPIC),//交换机,类型
key = {"#.news"} //#代表多个单词,*代表一个单词
))
public void Listenertopic1(String msg){
System.out.println("消费者1...接收到的数据是:"+msg);
}
//主题模型
@RabbitListener(bindings = @QueueBinding(//监听队列
value = @Queue("topic.queue2"),//队列名称
exchange = @Exchange(value = "itcast.topic",type = ExchangeTypes.TOPIC),//交换机,类型
key = {"china.#"} //#代表多个单词,*代表一个单词
))
public void Listenertopic2(String msg){
System.out.println("消费者2...接收到的数据是:"+msg);
}
}
02生产者发送消息
@Test
public void TestSendMessageToTopic(){ //测试主题模型
String exchangename="itcast.topic";
String message="ChinaTest!!!"; //消息
rabbitTemplate.convertAndSend(exchangename,"china.news",message); //发送消息
}
效果展示
消息转换器
消息都是以对象或者Map格式进行发送
MQ默认序列化——JDK序列化
步骤01
显然,JDK序列化方式并不合适。我们希望消息体的体积更小、可读性更高,因此可以使用JSON方式来做序列化和反序列化。
在publisher和consumer两个服务中都引入依赖:
1、导入依赖
<dependency>
<groupId>com.fasterxml.jackson.dataformat</groupId>
<artifactId>jackson-dataformat-xml</artifactId>
<version>2.9.10</version>
</dependency>
2、配置消息转换器。
在启动类中添加一个Bean即可:
@Bean
public MessageConverter jsonMessageConverter(){
return new Jackson2JsonMessageConverter();
}
总结