RabbitMQ

已于 2023-10-23 16:25:55 修改
阅读量2.5k 收藏
点赞数
文章标签： java-rabbitmq rabbitmq java
于 2023-03-13 12:08:31 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_38380811/article/details/129490287
版权
本文详细介绍了RabbitMQ消息中间件的基础概念、应用场景、优势与劣势，并深入讲解了RabbitMQ的核心概念、安装配置、工作模式以及实战案例。此外，还探讨了RabbitMQ的高可用性、消息可靠性、延迟消息、消息堆积解决方案和分布式事务处理策略，为读者提供了全面的RabbitMQ知识指南。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章目录

问题现象：

1、 海量数据

2、 高并发

解决方案：其中最为代表解决方案流量削峰-》 使用MQ

提示：以下是本篇文章正文内容，下面案例可供参考

常见中间件

在这里插入图片描述

在这里插入图片描述

一、 MQ概念

1. MQ 介绍

MQ（Message Queue）消息队列，是基础数据结构中“先进先出”的一种数据结构。一般用来解决应用解耦，异步消息，流量削峰等问题，实现高性能，高可用，可伸缩和最终一致性架构。

2. MQ应用场景

MQ的优势

（1）异步解耦

以电商应用为例，应用中有订单系统、库存系统、物流系统、支付系统。用户创建订单后，如果耦合 调用库存系统、物流系统、支付系统，任何一个子系统出了故障，都会造成下单操作异常。当转变成基于消息队列的方式后，系统间调用的问题会减少很多，比如物流系统因为发生故障，需要几分钟来修复。在 这几分钟的时间里，物流系统要处理的内存被缓存在消息队列中，用户的下单操作可以正常完成。当物流 系统恢复后，继续处理订单信息即可，中单用户感受不到物流系统的故障，提升系统的可用性。
请添加图片描述

（2） 削峰填谷（限流削峰）

举个例子，如果订单系统最多能处理一万次订单，这个处理能力应付正常时段的下单时绰绰有余，正 常时段我们下单一秒后就能返回结果。但是在高峰期，如果有两万次下单操作系统是处理不了的，只能限 制订单超过一万后不允许用户下单。使用消息队列做缓冲，我们可以取消这个限制，把一秒内下的订单分 散成一段时间来处理，这时有些用户可能在下单十几秒后才能收到下单成功的操作，但是比不能下单的体 验要好。

请添加图片描述

  1. 电商秒杀活动：当大量用户在同一时间内涌入网站抢购秒杀商品时，可以使用RabbitMQ来实现消息的异步处理，减少数据库的压力。
  2. 航空订票系统：当某个热门航班放票时，会有大量用户同时涌入系统抢购机票。RabbitMQ可以用来平滑处理这些请求，避免系统崩溃。
  3. 物流配送系统：当某个区域出现交通拥堵或者天气不佳等异常情况时，RabbitMQ可以用来平滑分流订单，避免出现大量订单同时涌入某个配送中心。
  4. 金融支付系统：当某个时间段内有大量的交易请求时，可以使用RabbitMQ来实现请求的异步处理，减少支付系统的响应时间。
  5. 社交媒体应用：当某个热门事件引发用户大量的评论和点赞时，可以使用RabbitMQ来实现消息的异步处理，减少服务器的负载。

（3） 消息分发

在实际开发中一个系统的数据有的时候需要分发个不同的系统中， 拿电商举例在双11的时候有很多会场，每一个会场可能都需要用到一个商品的数据，那么我们需要把数据分发到不同的会场中，假设有加了一个会场我们还需要把数据分发给新的会场
请添加图片描述

（4） 数据收集

分布式系统会产生海量数据流，如：业务日志、监控数据、用户行为等。针对这些数据流进行实时或者批量采集汇总，然后对这些数据流进行大数据分析，这是当前互联网平台的必备技术。通过MQ完成此类数据收集是最好的选择。

3. MQ的劣势

请添加图片描述

  1. 系统可用性降低

系统引入的外部依赖越多，系统稳定性越差。一旦 MQ 宕机，就会对业务造成影响。如何保证MQ的高可用？

  1. 系统复杂度提高

MQ 的加入大大增加了系统的复杂度，以前系统间是同步的远程调用，现在是通过 MQ 进行异步调用。如何保证消息没有被重复消费？怎么处理消息丢失情况？那么保证消息传递的顺序性？

  1. 一致性问题

A 系统处理完业务，通过 MQ 给B、C、D三个系统发消息数据，如果 B 系统、C 系统处理成功，D 系统处理失败。如何保证消息数据处理的一致性？

4. 常见的消息中间件

目前市场上主流的消息中间件主要有ActivitiMQ、RabbitMQ、RocketMQ、kafka

  1. ActivitiMQ:ActiveMQ是Apache出品,比较老的一个开源的消息中间件, 是一个完全支持JMS规范的消息中间件.API丰富,以前在中小企业应用广泛MQ衡量的指标:服务性能,数据存储,集群架构

  2. RabbitMQ: RabbitMQ 是一个由 Erlang 语言开发的 AMQP 的开源实现。AMQP ：Advanced Message Queue，高级消息队列协议。它是应用层协议的一个开放标准，为面向消息的中间件设计，基于此协议的客户端与消息中间件可传递消息，并不受产品、开发语言等条件的限制。RabbitMQ 最初起源于金融系统，用于在分布式系统中存储转发消息，在易用性、扩展性、高可用性等方面表现不俗。对数据的一致性,稳定性和可靠性要求比较高的场景

  3. RocketMQ: RocketMQ 是阿里巴巴在 2012 年开源的分布式消息中间件，目前已经捐赠给 Apache 软件基金会，并于 2017 年 9 月 25 日成为 Apache 的顶级项目。作为经历过多次阿里巴巴双十一这种“超级工程”的洗礼并有稳定出色表现的国产中间件，以其高性能、低延时和高可靠等特性近年来已经也被越来越多的国内企业使用。

  4. Kafka: Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据,但不支持事务。
    这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。
    这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。
    对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。

常见消息中间件对比图
请添加图片描述

二、RabbitMQ基础

1. RabbitMQ简介

AMQP，即 Advanced Message Queuing Protocol（高级消息队列协议），是一个网络协议，是应用层协议 的一个开放标准，为面向消息的中间件设计。基于此协议的客户端与消息中间件可传递消息，并不受客户端/中 间件不同产品，不同的开发语言等条件的限制。2006年，AMQP 规范发布。类比HTTP。

2007年，Rabbit 技术公司基于 AMQP 标准开发的 RabbitMQ 1.0 发布。RabbitMQ 采用 Erlang 语言开发。 Erlang 语言由 Ericson 设计，专门为开发高并发和分布式系统的一种语言，在电信领域使用广泛。

2. RabbitMQ中的核心概念

Broker：接收和分发消息的应用，RabbitMQ Server就是 Message Broker

Virtual host：出于多租户和安全因素设计的，把 AMQP 的基本组件划分到一个虚拟的分组中，类似于网 络中的 namespace 概念。当多个不同的用户使用同一个 RabbitMQ server 提供的服务时，可以划分出多个vhost，每个用户在自己的 vhost 创建 exchange／queue 等

Connection：publisher／consumer 和 broker 之间的 TCP 连接

Channel：如果每一次访问 RabbitMQ 都建立一个 Connection，在消息量大的时候建立 TCP Connection 的开销将是巨大的，效率也较低。Channel 是在 connection 内部建立的逻辑连接，如果应用程序支持多线 程，通常每个thread创建单独的 channel 进行通讯，AMQP method 包含了channel id 帮助客户端和 message broker 识别 channel，所以 channel 之间是完全隔离的。Channel 作为轻量级的 Connection 极大减少了操作系统建立 TCP connection 的开销

Exchange：message 到达 broker 的第一站，根据分发规则，匹配查询表中的 routing key，分发消息到 queue 中去。常用的类型有：direct (point-to-point), topic (publish-subscribe) and fanout (multicast)

Queue：消息最终被送到这里等待 consumer 取走

Binding：exchange 和 queue 之间的虚拟连接，binding 中可以包含 routing key。Binding 信息被保存 到 exchange 中的查询表中，用于 message 的分发依据

RabbitMQ架构图请添加图片描述

3. Linux单机安装

  1. 步骤1 ：下载

https://www.rabbitmq.com/，安装文档参考:https://www.rabbitmq.com/download.html

对于rabbitmq的安装方式有很多种, 我们这里使用通过yum命令的方式进行安装, 因为rabbitmq是使用Erlang语言进行编写的, 所以我们在安装的时候需要先搭建Erlang的一个运行环境

  1. 步骤2 ：安装Erlang
    我们安装的rabbitmq的版本是3.7的,要求使用的Erlang版本必须是20.3.x的版本,我们可以去github下载对应的Erlang的对应版本https://github.com/rabbitmq/erlang-rpm
vi /etc/yum.repos.d/rabbitmq-erlang.repo

Erlang 20.3.x

# In /etc/yum.repos.d/rabbitmq-erlang.repo

[rabbitmq-erlang]
name=rabbitmq-erlang
baseurl=https://dl.bintray.com/rabbitmq-erlang/rpm/erlang/20/el/7
gpgcheck=1
gpgkey=https://dl.bintray.com/rabbitmq/Keys/rabbitmq-release-signing-key.asc
repo_gpgcheck=0
enabled=1

安装命令
yum install erlang -y

步骤3 ： 安装rabbitmq-server

导入对应的验证签名:

rpm --import https://github.com/rabbitmq/signing-keys/releases/download/2.0/rabbitmq-release-signing-key.asc
创建一个rabbitmq的仓库文件:vi /etc/yum.repo.d/rabbitmq.repo
[bintray-rabbitmq-server]
name=bintray-rabbitmq-rpm
baseurl=https://dl.bintray.com/rabbitmq/rpm/rabbitmq-server/v3.7.x/el/7/
gpgcheck=0
repo_gpgcheck=0
enabled=1
安装命令

yum install rabbitmq-server -y

步骤四：开启服务

添加rabbitmq-server开机启动
chkconfig rabbitmq-server on
启动服务:
service rabbitmq-server start
停止服务
service rabbitmq-server stop
开启管理页面的插件
rabbitmq-plugins enable rabbitmq_management
rabbitmq-plugins 查看页面信息
rabbitmq-plugins list

步骤五：开启guest用户的远程访问

 vi /etc/rabbitmq/rabbitmq.config
	[{
   rabbit，[{
   loopback_users，[]}]}]。

4. windows单机安装

安装rabbitMQ需要依赖erlang语言环境，所以需要我们下载erlang的环境安装程序。

  1. 下载：

1.1、rabbitMQ安装程序下载路径：rabbitMQ安装程序下载路径
在这里插入图片描述

1.2、erlang环境安装程序下载路径：erlang环境安装程序下载路径
在这里插入图片描述

  1. 安装配置erlang

新建系统变量-键入变量名ERLANG_HOME，键入变量值:erlang安装路径
在这里插入图片描述

然后添加系统path路径中，添加 ： %ERLANG_HOME%\bin
在这里插入图片描述

然后打开cmd，输入erl，看到我们的erlang版本号，就说明安装成功了
在这里插入图片描述

  1. 安装rabbitMQ

双击我们刚才下载的rabbitmq-server-3.8.5程序，next，install即可，此处需要注意，如果要自定义安装路径的话，路径中最好不要存在中文，会出现错误。
安装完成之后，需要我们激活rabbitmq_management
打开cmd，进到RabbitMQ的安装目录sbin目录下，运行命令

rabbitmq-plugins enable rabbitmq_management
  1. 验证

上面的命令执行成功之后，我们就可以通过http://localhost:15672来访问web端的管理界面
初始可以通过用户名：guest 密码guest来登录。

官网： https://www.rabbitmq.com/getstarted.html

4. RabbitMQ的常见工作模式

（1）队列模式——基本消息队列（BasicQueue）

在这里插入图片描述

SpringAMQP实现案例:

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-amqp</artifactId>
</dependency>

# RabbitMQ服务的地址
spring:
	rabbitmq:
		host: 127.0.0.1
        port: 5672
		username: guest
		password: guest
		virtual-host: /  #虚拟主机

创建生产者
生产者需要用到 RabbitTemplate 类来生产消息并进行消息发送，代码如下。

import org.springframework.amqp.rabbit.core.RabbitTemplate;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

@Component
public class Producer {
   

    @Autowired
    private RabbitTemplate rabbitTemplate;

    public void produce() {
   
        String message = "疫情期间注意防护";
        System.out.println("生产者：" + message);
        rabbitTemplate.convertAndSend("notice_queue", message);
    }
    public void produce2() {
   
        // 创建一个商品，需要作为消息传递的对象需要实现序列化
        Product product = new Product();
        product.setName("苹果 14，512G，银灰");
        product.setNumber(8);
        product.setId(2022);
        product.setProductImg("./iphone14.png");
        // 转换发送商品信息
        System.out.println("产品被" + product.getName() + "秒杀，发送通知");
        rabbitTemplate.convertAndSend("notice_product_queue", product);
   }
    public String produce3(String msg){
   
        rabbitTemplate.convertAndSend("","boot_queue",msg);
        return "发送成功";
    }
}

创建消费者

import org.springframework.amqp.rabbit.annotation.Queue;
import org.springframework.amqp.rabbit.annotation.RabbitHandler;
import org.springframework.amqp.rabbit.annotation.RabbitListener;</
最低0.47元/天 解锁文章
邱秋Elena
关注
详解RabbitMQ核心概念及界面操作
.
04-21 1万+
详解RabbitMQ核心概念及界面操作。
详解RabbitMQ在Centos上的安装
热门推荐
.
04-21 1万+
详解RabbitMQ在Centos上的安装。
RabbitMQ 迁移
Dablelv 的博客专栏。
07-08 1542
如果您只需要导出和导入RabbitMQ的定义（如vhost、exchange、queue等），可以使用RabbitMQ的 HTTP API。
RabbitMQ安装
qq_57442639的博客
07-02 9979
rabbitmq
RabbitMQ 集群
不能再留遗憾了的博客
11-24 3409
RabbitMQ集群
RabbitMQ 命令
KingCruel的专栏
12-15 2033
【代码】RabbitMQ 命令。
RabbitMQ插件详解：rabbitmq_web_stomp【RabbitMQ 六】
todoitbo的博客
12-12 6934
本文着重介绍RabbitMQ中的rabbitmq_web_stomp插件，通过讲解STOMP协议和WebSocket的基础知识，深入挖掘这一插件的应用场景和使用方法。通过详细的示例和实际场景的演示，你将了解如何在分布式系统中通过Web STOMP实现高效、实时的消息传递。无论你是消息中间件的新手还是经验丰富的开发者，这篇博客都将为你揭示RabbitMQ Web STOMP的魅力。
【RabbitMQ】RabbitMQ持久化
wosixiaokeai的博客
08-03 2923
RabbitMQ的持久化机制是一种确保数据在RabbitMQ服务重启或异常情况下不会丢失的重要特性。RabbitMQ的持久化主要包括三个方面的内容：交换器的持久化、队列的持久化、消息的持久化。
rabbitmq 管理界面
tian830937的专栏
11-20 7258
rabbitmq概览界面以及相关参数
RabbitMQ自动发送消息软件(自动化测试RabbitMQ)
11-06
它集成了 RabbitMQ 连接配置、消息自动生成配置以及日志记录功能，能够按照预设的时间间隔和总次数自动发送 RabbitMQ 消息。消息内容支持多种随机生成类型，包括日期、序列号、Mac 地址、整数和浮点数。此外，程序还...
RabbitMQ Server3.13.0
04-02
**RabbitMQ Server 3.13.0** RabbitMQ 是一个开源的消息代理和队列服务器，它基于AMQP（Advanced Message Queuing Protocol）协议，用于在分布式系统中高效地路由和传递消息。RabbitMQ 3.13.0 版本是其稳定版本之一...
kettle rabbitmq 插件开发
10-26
标题 "kettle rabbitmq 插件开发" 涉及的是如何在 Pentaho Kettle（也称为 Spoon）中创建和使用 RabbitMQ 插件。Kettle 是一个开源的数据集成工具，它允许用户进行数据抽取、转换和加载（ETL）操作。RabbitMQ 是一个...
RabbitMQ实战指南-rabbitmq-action.zip
11-07
**RabbitMQ实战指南** RabbitMQ是一款广泛应用的开源消息队列系统，它基于Advanced Message Queuing Protocol（AMQP）标准，提供高可用性、可靠性和可扩展性。本实战指南将带你深入理解RabbitMQ的核心概念、安装与...
rabbitMQ实战java版-rabbitMQ-demo.zip
11-07
《RabbitMQ实战Java版——基于rabbitMQ-demo.zip的详解》 在当今的分布式系统中，消息队列作为异步处理、解耦组件的关键技术，得到了广泛应用。RabbitMQ作为一款开源的消息代理和队列服务器，以其稳定性和易用性...
基于SpringBoot利用死信队列解决RabbitMQ业务队列故障重试无效场景问题
jike11231的博客
06-08 1011
Slf4j// 声明业务交换机@Bean// 声明死信交换机@Bean// 声明业务队列@Bean// 设置业务队列的死信交换机// 声明死信队列@Bean// 将业务队列绑定到业务交换机@Bean// 将死信队列绑定到死信交换机@Bean。
JAVA：RabbitMQ 消息持久化机制的技术指南
最新发布
木头
06-12 111
本文介绍了RabbitMQ消息持久化的实现方法，包含三个关键层面：交换机、队列和消息本身的持久化设置。通过Spring Boot实战演示了如何创建持久化队列和交换机，发送持久化消息，并给出了测试验证方法。文章还提供了进阶优化建议，如发布确认机制、手动ACK和镜像队列等。最后强调正确配置持久化机制的重要性，包括交换机/队列设为durable、消息设为persistent，并配合发布确认机制才能有效防止消息丢失。
在Spring Boot中集成RabbitMQ的完整指南
2503_92145588的博客
06-09 1143
本文详细介绍了在Spring Boot项目中集成RabbitMQ的实现方法。内容涵盖RabbitMQ的Docker安装、Spring Boot项目配置、消息发送和接收的实现流程。重点阐述了两种定义交换机与队列的方式：一种是在生产者端通过配置类手动声明，适合复杂路由场景；另一种是在消费者端通过@RabbitListener注解自动绑定，适合快速开发。文章还提供了消息生产者和消费者的代码示例，并对比了两种方式的适用场景，为开发者构建基于消息队列的分布式系统提供了实用指导。
【为什么RabbitMQ能够控制事务？控制事务的原理】
qq_37515544的博客
06-09 1230
RabbitMQ的事务控制机制解析 RabbitMQ通过AMQP协议实现事务控制，保障消息发送与本地业务操作的原子性。其核心流程包括开启事务（tx.select）、消息发送与缓冲、提交/回滚（tx.commit/rollback）三个阶段。关键组件包括事务缓冲区（暂存消息）、事务日志（记录状态）和锁机制（防止并发干扰）。在故障场景下，Broker会根据事务日志进行恢复，确保数据一致性。这种机制适用于金融支付、电商订单、数据同步等强一致性业务场景，通过事务性Channel实现"全成功或全失败&quo
rabbitmQ
04-12
### RabbitMQ 使用指南和教程 #### 安装 RabbitMQ RabbitMQ 是一种基于 AMQP 协议的消息中间件，用于实现分布式系统的可靠消息传递。以下是安装 RabbitMQ 的基本流程： 1. **安装 Erlang** RabbitMQ 基于 Erlang...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值