关于消息队列

Kafka软件下载

doc.canglaoshi.org 网站中的kafka

Dubbo远程调用的性能问题

Dubbo调用普遍存在于我们的微服务项目中

这些Dubbo调用全部是同步的操作

这里的"同步"指:消费者A调用生产者B之后,A的线程会进入阻塞状态,等待生产者B运行结束返回之后,A才能运行之后的代码

Dubbo消费者发送调用后进入阻塞状态,这个状态表示该线程仍占用内存资源,但是什么动作都不做

如果生产者运行耗时较久,消费者就一直等待,如果消费者利用这个时间,那么可以处理更多请求,业务整体效率会提升

实际情况下,Dubbo有些必要的返回值必须等待,但是不必要等待的服务返回值,我们可以不等待去做别的事情

这种情况下我们就要使用消息队列

消息队列

什么是消息队列

消息队列(Message Queue)简称MQ,也称:“消息中间件”

消息队列是采用"异步(两个微服务项目并不需要同时完成请求)"的方式来传递数据完成业务操作流程的业务处理方式

消息队列的特征

常见面试题:消息队列的特征(作用)

• 利用异步的特性,提高服务器的运行效率,减少因为远程调用出现的线程等待\阻塞时间
• 削峰填谷:在并发峰值超过当前系统处理能力时,我们将没处理的信息保存在消息队列中,在后面出现的较闲的时间中去处理,直到所有数据依次处理完成,能够防止在并发峰值时短时间大量请求而导致的系统不稳定
• 消息队列的延时:因为是异步执行,请求的发起者并不知道消息何时能处理完,如果业务不能接受这种延迟,就不要使用消息队列
  

常见消息队列软件

• Kafka:性能好\功能弱:适合大数据量,高并发的情况,大数据领域使用较多
• RabbitMQ:功能强\性能一般:适合发送业务需求复杂的消息队列,java业务中使用较多
• RocketMQ:阿里的
• ActiveMQ:前几年流行的,老项目可能用到
• …

消息队列的事务处理

当接收消息队列中信息的模块运行发生异常时,怎么完成事务的回滚?

当消息队列中(stock)发生异常时,在异常处理的代码中,我们可以向消息的发送者(order)发送消息,然后通知发送者(order)处理,消息的发送者(order)接收到消息后,一般要手写代码回滚,如果回滚代码过程中再发生异常,就又要思考回滚方式,如果一直用消息队列传递消息的话,可能发生异常的情况是无止境的

所以我们在处理消息队列异常时,经常会设置一个"死信队列",将无法处理的异常信息发送到这个队列中

死信队列没有任何处理者,通常情况下会有专人周期性的处理死信队列的消息

Kafka

什么是Kafak

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。该项目的目标是为处理实时数据提供一个统一、高吞吐、低延迟的平台。Kafka最初是由LinkedIn开发，并随后于2011年初开源。

Kafak软件结构

Kafka是一个结构相对简单的消息队列(MQ)软件

kafka软件结构图

Kafka Cluster(Kafka集群)

Producer:消息的发送方,也就是消息的来源,Kafka中的生产者

order就是消息的发送方,在Dubbo中order是消费者,这个身份变化了

Consumer:消息的接收方,也是消息的目标,Kafka中的消费者

stock就是消息的接收方,在Dubbo中stock是生产者,这个身份变化了

Topic:话题或主题的意思,消息的收发双方要依据同一个话题名称,才不会将信息错发给别人

Record:消息记录,就是生产者和消费者传递的信息内容,保存在指定的Topic中

Kafak的特征与优势

Kafka作为消息队列,它和其他同类产品相比,突出的特点就是性能强大

Kafka将消息队列中的信息保存在硬盘中

Kafka对硬盘的读取规则进行优化后,效率能够接近内存

硬盘的优化规则主要依靠"顺序读写,零拷贝,日志压缩等技术"

Kafka处理队列中数据的默认设置:

• Kafka队列信息能够一直向硬盘中保存(理论上没有大小限制)
• Kafka默认队列中的信息保存7天,可以配置这个时间,缩短这个时间可以减少Kafka的磁盘消耗

Kafka的安装和配置

必须将我们kafka软件的解压位置设置在一个根目录,文件夹名称尽量短(例如:kafka)

然后路径不要有空格和中文

我们要创建一个空目录用于保存Kafka运行过程中产生的数据

本次创建名称为data的空目录

下面进行Kafka启动前的配置

先到D:\kafka\config下配置有文件zookeeper.properties

找到dataDir属性修改如下

dataDir=D:/data

修改完毕之后要Ctrl+S进行保存,否则修改无效!!!

注意D盘和data文件夹名称,匹配自己电脑的真实路径和文件夹名称

还要修改server.properties配置文件

log.dirs=D:/data

修改注意事项和上面相同

Zookeeper启动

进入路径D:\kafka\bin\windows

输入cmd进入dos命令行

D:\kafka\bin\windows>zookeeper-server-start.bat ..\..\config\zookeeper.properties

kafka启动

总体方式一样,输入不同指令

D:\kafka\bin\windows>kafka-server-start.bat ..\..\config\server.properties

附录

Mac系统启动Kafka服务命令（参考）：

# 进入Kafka文件夹
cd Documents/kafka_2.13-2.4.1/bin/
# 动Zookeeper服务
./zookeeper-server-start.sh -daemon ../config/zookeeper.properties 
# 启动Kafka服务
./kafka-server-start.sh -daemon ../config/server.properties 

Mac系统关闭Kafka服务命令（参考）：

# 关闭Kafka服务
./kafka-server-stop.sh 
# 启动Zookeeper服务
./zookeeper-server-stop.sh

这样的提示,需要安装wmic命令,安装方式参考

https://zhidao.baidu.com/question/295061710.html

如果启动kafka无响应

在“环境变量”的“用户变量路径”中Path属性添加一行后

%SystemRoot%\System32\Wbem;%SystemRoot%\System32\;%SystemRoot%

要想启动Kafka必须先启动Zookeeper
因为Kafka的配置文件信息有Zookeeper保存,Zookeeper不启动,Kafka没有配置

Zookeeper介绍

zoo:动物园

keeper:园长

可以引申为管理的动物的人

Linux服务器中安装的各种软件,很多都是有动物形象的

如果这些软在Linux中需要修改配置信息的话,就需要进入这个软件,去修改配置,每个软件都需要单独修改配置的话,工作量很大

我们使用Zookeeper之后,可以创建一个新的管理各种软件配置的文件管理系统

Linux系统中各个软件的配置文件几种到Zookeeper中

实现Zookeeper中,可以修改服务器系统中的各个软件配置信息

长此以往,很多软件就删除了自己写的配置文案的功能,而直接从Zookeeper获取

Kafka就是需要将配置编写在Zookeeper中的软件之一

所以要先启动Zookeeper才能启动Kafka

Kafka使用演示

添加配置

启动的Zookeeper和kafka的窗口不要关闭

在csmall项目中编写一个kafka使用的演示

csmall-cart-webapi模块

添加依赖

<!--   SpringBoot整合Kafka的依赖   -->
<dependency>
    <groupId>org.springframework.kafka</groupId>
    <artifactId>spring-kafka</artifactId>
</dependency>
<!--    google提供的能够将java和json字符串相互转换的工具    -->
<dependency>
    <groupId>com.google.code.gson</groupId>
    <artifactId>gson</artifactId>
</dependency>

修改yml文件进行配置

spring:
  kafka:
    # 设置kafka的ip和端口
    bootstrap-servers: localhost:9092
    # consumer.group-id是Spring Kafka框架要求必须配置的内容,不配置会报错
    # 设置的值是一个分组名称,作用是防止不同项目间恰巧相同的话题名称引发的混淆
    # 本质上,就是当前项目发送给Kafka的话题名称,会使用配置的值作为前缀
    # 例如我们发送了一个名称为message的话题,真正发送给kafka的话题名称为csmall_message
    consumer:
      group-id: csmall

在SpringBoot启动类中添加启动Kafka的注解

@SpringBootApplication
@EnableDubbo
// 项目启动时,激活对kafka功能的支持
@EnableKafka
// 下面的注解是为了测试kafka发送消息的功能,周期性运行一个方法而编写的
// 周期运行的方法可以编写向Kafka发送消息的代码
// 需要注意@EnableScheduling和@EnableKafka是没有必然联系的
@EnableScheduling
public class CsmallCartWebapiApplication {

    public static void main(String[] args) {
        SpringApplication.run(CsmallCartWebapiApplication.class, args);
    }

}

下面我们就可以实现周期性的向kafka发送消息并接收的操作了

编写消息的发送

cart-webapi包下创建kafka包

包中创建Producer类来发送消息

// SpringBoot启动时,会实例化这个对象,保存到Spring容器,这样才能实现周期运行
@Component
public class Producer {

    // Spring Kafka框架能自动生成一个操作kafka的对象,并保存带Spring容器
    // 我们需要使用时,直接用@Autowired装配即可
    // KafkaTemplate<[话题类型],[消息类型]>
    @Autowired
    private KafkaTemplate<String,String> kafkaTemplate;

    // 定义一个常量作为话题名称
    public static final String TOPIC_KEY="myCart";

    int i=1;
    //编写一个每隔10秒(10000毫秒)运行一次的方法,来周期性向Kafka发行消息
    @Scheduled(fixedRate = 10000)
    public void sendMessage(){
        System.out.println("准备向Kafka发送消息");
        // 实例化一个Cart对象并赋属性值,用于消息的发送
        Cart cart=new Cart();
        cart.setId(i++);
        cart.setUserId("UU100");
        cart.setCommodityCode("PC100");
        cart.setCount(1+ RandomUtils.nextInt(10));
        cart.setPrice(10+RandomUtils.nextInt(91));
        // 下面就可以执行发送了
        // 将上面cart对象转换为json格式字符串发送
        // {"id":"1","userId":"UU100","count":"6",....}
        // 创建格式转换工具对象
        Gson gson=new Gson();
        // 执行转换
        String json = gson.toJson(cart);
        System.out.println("要发送的json格式字符串为:"+json);
        // 执行发送
        kafkaTemplate.send(TOPIC_KEY,json);
    }

}

测试需要启动

Zookeeper\Kafka\Nacos\Seata启动

然后启动cart每隔10秒会发送一次消息

如果没有报错,能确定功能基本正常

消息的接收

下面开始接收

kafka包中创建一个叫Consumer的类来接收消息

接收消息的类可以是本模块的类,也可以是其它模块的类,编写的代码是完全一致

// 无论消息是如何发送到Kafka,消息的接收都是这样的格式
// 这个类要保存到Spring容器,消息的接收大部分工作被Spring封装了
@Component
public class Consumer {

    // Spring Kafka框架接收消息,使用了"监听机制(通知机制)"
    // 框架中设计了一条线程,运行时实时监控Kafka接收消息的情况
    // 接收消息时依据是话题名称(key),一旦某个话题有消息(例如myCart)
    // 这条线程就会通知接收这个话题的方法运行
    @KafkaListener(topics = Producer.TOPIC_KEY)
    // 上面注解指定话题名称后,在这个话题名称发送消息时,就会运行下面的方法
    // 这个方法的参数和返回值是固定的,方法名称没有要求
    public void received(ConsumerRecord<String,String> record){
        // 参数record就是消息发送者发来的信息对象,泛型<[话题类型],[消息类型]>
        // 当前指定话题名称有消息时,这个方法就会自动运行
        // 取出record对象中的消息内容
        String json=record.value();
        // 下面再利用Gson将json格式字符串转换回java对象
        Gson gson=new Gson();
        Cart cart = gson.fromJson(json, Cart.class);
        //  转换完成!输出接收到的消息
        System.out.println(cart);

    }

}

重新启动cart测试

观察消息的收发情况

RabbitMQ

什么是RabbitMQ

RabbitMQ 是一个由 Erlang 语言开发的 AMQP 的开源实现。 AMQP ：Advanced Message Queue，高级消息队列协议。它是应用层协议的一个开放标准，为面向消息的中间件设计，基于此协议的客户端与消息中间件可传递消息，并不受产品、开发语言等条件的限制。 RabbitMQ 最初起源于金融系统，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。

RabbitMQ特征

1.可靠性（Reliability） RabbitMQ 使用一些机制来保证可靠性，如持久化、传输确认、发布确认。

2.灵活的路由（Flexible Routing） 在消息进入队列之前，通过 Exchange 来路由消息的。对于典型的路由功能，RabbitMQ已经提供了一些内置的 Exchange 来实现。针对更复杂的路由功能，可以将多个Exchange 绑定在一起，也通过插件机制实现自己的 Exchange 。

3.消息集群（Clustering） 多个 RabbitMQ 服务器可以组成一个集群，形成一个逻辑 Broker

4.高可用（Highly Available Queues） 队列可以在集群中的机器上进行镜像，使得在部分节点出问题的情况下队列仍然可用。

5.多种协议（Multi-protocol） RabbitMQ 支持多种消息队列协议，比如 STOMP、MQTT 等等。

6.多语言客户端（Many Clients） RabbitMQ 几乎支持所有常用语言，比如 Java、.NET、Ruby 等等。

7.管理界面（Management UI） RabbitMQ 提供了一个易用的用户界面，使得用户可以监控和管理消息 Broker 的许多方面。

8.跟踪机制（Tracing） 如果消息异常，RabbitMQ 提供了消息跟踪机制，使用者可以找出发生了什么。

9.插件机制（Plugin System） RabbitMQ 提供了许多插件，来从多方面进行扩展，也可以编写自己的插件。

下载软件

苹果mac系统的同学直接苍老师网站看MacOS安装RabbitMQ的技术贴

RabbitMQ是Erlang语言开发的,所以要先安装Erlang语言的运行环境

下载Erlang的官方路径

https://erlang.org/download/otp_versions_tree.html

安装的话就是双击

安装过程中都可以使用默认设置,需要注意的是

不要安装在中文路径和有空格的路径下!!!

下载RabbitMQ的官方网址

https://www.rabbitmq.com/install-windows.html
安装也是双击即可

不要安装在中文路径和有空格的路径下!!!

配置Erlang的环境变量

要想运行RabbitMQ必须保证系统有Erlang的环境变量

配置Erlang环境变量

把安装Erlang的bin目录配置在环境变量Path的属性中

确定后打开cmd输入下面指令,得到如下结果,表示Erlang环境变量配置成功!

启动RabbitMQ

找到RabbitMQ的安装目录

例如

D:\rabbit\rabbitmq_server-3.10.1\sbin

具体路径根据自己的情况寻找

地址栏运行cmd

输入启动指令如下

D:\rabbit\rabbitmq_server-3.10.1\sbin>rabbitmq-plugins enable rabbitmq_management

结果如下

运行完成后,验证启动状态

RabbitMQ自带一个管理的界面,所以我们可以访问这个界面来验证它的运行状态

http://localhost:15672

登录界面用户名密码

guest

guest

登录成功后看到RabbitMQ运行的状态

如果启动失败,可以手动启动RabbitMQ

参考路径如下

https://baijiahao.baidu.com/s?id=1720472084636520996&wfr=spider&for=pc

RabbitMQ的工作模式

常见面试题

RabbitMQ的工作模式有六种：simple简单模式、work工作模式、publish/subscribe订阅模式、routing路由模式、topic 主题模式、RPC模式。

simple简单模式为一个队列中一条消息，只能被一个消费者消费。

Work工作模式为一个生产者，多个消费者，每个消费者获取到的消息唯一。

publish/subscribe订阅模式为一个生产者发送的消息被多个消费者获取。

routing路由模式为生产者发送的消息主要根据定义的路由规则决定往哪个队列发送。

topic 主题模式为生产者，一个交换机(topicExchange)，模糊匹配路由规则，多个队列，多个消费者。

RPC模式为客户端 Client 先发送消息到消息队列，远程服务端 Server 获取消息，然后再写入另一个消息队列，向原始客户端 Client 响应消息处理结果。

RabbitMQ路由模式的结构

RabbitMQ软件支持很多种工作模式,我们学习其中的路由模式

路由模式比较常用,而且功能强大,但是结构比Kafka的主题模式复杂
和Kafka不同,Kafka是使用话题名称来收发信息,结构简单

RabbitMQ路由模式是使用交换机\路由key指定要发送消息的队列

消息的发送者发送消息时,需要指定交换机和路由key名称

消息的接收方接收消息时,只需要指定队列的名称

在编写代码上,相比于Kafka,每个业务要编写一个配置类

这个配置类中要绑定交换机和路由key的关系,以及路由Key和队列的关系

利用RabbitMQ完成消息的收发

csmall-stock-webapi项目中测试RabbitMQ

可以利用之前我们使用Quartz实现的每隔一段时间可以运行一个方法的功能实现

<!--  SpringBoot整合RabbitMQ的依赖  -->
<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>

yml文件配置

spring:
  rabbitmq:
    host: localhost
    port: 5672
    username: guest
    password: guest
    # 设置虚拟host 单机模式下固定编写"/"即可
    virtual-host: /

交换机\路由Key\队列的配置类

RabbitMQ要求我们在java代码级别设置交换机\路由Key\队列的关系

我们在quartz包下,创建config包

包中创建配置信息类RabbitMQConfig

// 当前类作用是定义交换机\路由Key\队列的对象,和绑定关系
// 路由模式下,只有配置了这些信息,才能正常运行
@Configuration
public class RabbitMQConfig {

    // 业务中需要使用到的各种名称都要定义常量,防止拼写错误
    public static final String STOCK_EX="stock_ex";
    public static final String STOCK_ROUT="stock_rout";
    public static final String STOCK_QUEUE="stock_queue";

    // 交换机和队列对象是实例对象,保存到Spring容器
    @Bean
    public DirectExchange stockDirectExchange(){
        return new DirectExchange(STOCK_EX);
    }
    @Bean
    public Queue stockQueue(){
        return new Queue(STOCK_QUEUE);
    }

    // 路由Key是表示关系的对象,需要绑定相关的对象
    @Bean
    public Binding stockBinding(){
        return BindingBuilder.bind(stockQueue()).
                to(stockDirectExchange()).with(STOCK_ROUT);
    }


}

RabbitMQ发送消息

在quartz包下新建一个rabbit包,包中创建RabbitMQJob类,实现RabbitMQ消息的发送

@Slf4j
public class RabbitMQJob implements Job {

    // 装配能够想RabbitMQ发送消息的对象
    // 这个对象也是在添加依赖后,项目启动时,自动保存到Spring容器的
    @Autowired
    private RabbitTemplate rabbitTemplate;

    int i=1;
    @Override
    public void execute(JobExecutionContext jobExecutionContext) throws JobExecutionException {
        // 实例化Stock对象
        Stock stock=new Stock();
        stock.setId(i++);
        stock.setCommodityCode("PC100");
        stock.setReduceCount(1+ RandomUtils.nextInt(10));
        // 下面开始发送消息,指定交换机名称和路由key名称
        rabbitTemplate.convertAndSend(
                RabbitMQConfig.STOCK_EX,
                RabbitMQConfig.STOCK_ROUT,
                stock);
        log.info("消息发送完成:{}",stock);
    }
}

我们可以通过修改QuartzConfig类中JobDetail绑定的Job实现类,运行发送消息到RabbitMQ的代码

//                       ↓↓↓↓↓↓↓↓↓↓↓
return JobBuilder.newJob(RabbitMQJob.class)

启动服务会每隔10秒运行一次发送消息的操作

启动服务,观察是否每隔10秒发送一条消息

启动Nacos\RabbitMQ\Seata

启动stock-webapi

根据Cron表达式,消息会在0/10/20/30/40/50秒数时运行

接收RabbitMQ中的消息

quartz.rabbit包下再创建一个新的类用于接收信息

RabbitMQConsumer代码如下

// Spring连接RabbitMQ也是通过我们添加的依赖实现的
// 所以要接收消息,当前类必须在Spring容器中
@Component
// 和kafka不同,RabbitMQ接收消息的监听配置要写在类上
@RabbitListener(queues = RabbitMQConfig.STOCK_QUEUE)
@Slf4j
public class RabbitMQConsumer {

    // 类上添加了监听的注解,但是不能指定收到消息后运行的方法
    // 所以我们要编写一个方法,并在方法前添加@RabbitHandler注解
    // 标记该方法是接收处理消息的方法
    // 一个类只能有一个标记为@RabbitHandler的方法
    // 方法的参数直接写发送的消息即可
    @RabbitHandler
    public void received(Stock stock){
        // stock对象就是发送过来的消息,直接使用即可,我们这里就是输出
        log.info("接收到消息:{}",stock);
    }

}

其他项目不动,继续保持运行

重启stock-webapi模块

观察消息的接收