共享组件RabbitMQ详解

一、MQ 全称为 Message Queue, 消息队列（ MQ ）

是一种应用程序对应用程序的通信方法。

应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。

中间件：是一类连接软件组件和应用的计算机软件，它包括一组服务。

以便于运行在一台或多台机器上的多个软件通过网络进行交互

消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，

直接调用通常是用于诸如远程过程调用的技术。

排队指的是应用程序通过队列来通信。队列的使用除去了接收和发送应用程序同时执行的要求。

 

二、AMQP  即 Advanced Message Queuing Protocol

高级消息队列协议，是应用层协议的一个开放标准，为面向消息的中间件设计。消息中间件主要用于组件之间的解耦，消息的发送者无需知道消息使用者的存在，反之亦然。

AMQP 的主要特征是面向消息、队列、路由（包括点对点和发布 / 订阅）、可靠性、安全。

 

 三、 RabbitMQ概念： 

属于一个流行的开源消息队列系统。属于AMQP( 高级消息队列协议 ) 标准的一个 实现。是应用层协议的一个开放标准，为面向消息的中间件设计。用于在分布式系统中存储转发消息，在 易用性、扩展性、高可用性等方面表现不俗。

RabbitMQ特点：

  　　使用Erlang编写

  　　支持持久化

  　　支持HA

  　　提供C# , erlang，java，perl，python，ruby等的client开发端

 

四、RabbitMQ中的概念名词

Broker：简单来说就是消息队列服务器实体。

Exchange：消息交换机，它指定消息按什么规则，路由到哪个队列。

Queue：消息队列载体，每个消息都会被投入到一个或多个队列。
       Binding：绑定，它的作用就是把exchange和queue按照路由规则绑定起来。

Routing Key：路由关键字， exchange根据这个关键字进行消息投递。

vhost：虚拟主机，一个broker里可以开设多个vhost，用作不同用户的权限分离。

producer：消息生产者，就是投递消息的程序。

consumer：消息消费者，就是接受消息的程序。

channel：消息通道，在客户端的每个连接里，可建立多个channel，每个channel代表一个会话任务。

 

五、RabbitMQ工作原理

MQ 是消费 - 生产者模型的一个典型的代表，一端往消息队列中不断写入消息，而另一端则可以读取或者订阅队列中的消息。 MQ 则是遵循了 AMQP协议的具体实现和产品。在项目中，将一些无需即时返回且耗时的操作提取出来，进行了异步处理，而这种异步处理的方式大大的节省了服务器的请求响应时间，从而提高了系统的吞吐量。

（ 1）客户端连接到消息队列服务器，打开一个channel。

（ 2）客户端声明一个exchange，并设置相关属性。

（ 3）客户端声明一个queue，并设置相关属性。

（ 4）客户端使用routing key，在exchange和queue之间建立好绑定关系。

（ 5）客户端投递消息到exchange。

（ 6） exchange接收到消息后，就根据消息的key和已经设置的binding，进行消息路由，将消息投递到一个或多个队列里

 

 六、RabbitMQ 的 metadata 

元数据可以持久化在 RAM 或 Disc. 从这个角度可以把 RabbitMQ 集群中的节点分成两种 :RAM Node和 Disk Node.

       RAM Node 只会将元数据存放在RAM

       Disk node 会将元数据持久化到磁盘。 

单节点系统就没有什么选择了 , 只允许 disk node, 否则由于没有数据冗余一旦重启就会丢掉所有的配置信息 . 但在集群环境中可以选择哪些节点是 RAM node.在集群中声明(declare) 创建 exchange queue binding, 这类操作要等到所有的节点都完成创建才会返回 :

       如果是内存节点就要修改内存数据 ,

       如果是 disk node 就要等待写磁盘 , 节点过多这里的速度就会被大大的拖慢 .

有些场景 exchang queue 相当固定 , 变动很少 ,那即使全都是 disc node, 也没有什么影响 . 如果使用 Rabbitmq 做 RPC（ RPC :Remote Procedure Call—远程过程调用）,  RPC 或者类似 RPC 的场景这个问题就严重了 , 频繁创建销毁临时队列 , 磁盘读写能力就很快成为性能瓶颈了。所以 , 大多数情况下 , 我们尽量把 Node 创建为RAM Node. 这里就有一个问题了 , 要想集群重启后元数据可以恢复就需要把集群元数据持久化到磁盘 , 那需要规划 RabbitMQ 集群中的 RAM Node 和 Disc Node 。

只要有一个节点是 Disc Node 就能提供条件把集群元数据写到磁盘 ,RabbitMQ 的确也是这样要求的 : 集群中只要有一个 disk node 就可以 , 其它的都可以是 RAM node. 节点加入或退出集群一定至少要通知集群中的一个 disk node 。

 

七、基于Centos7部署Rabbitmq集群

一、前期准备

 

（1）条件:准备3台虚拟机，确保配置好Base源，及epel源，使用阿里源即可

 

（2）三台节点能够静态解析彼此

vim /etc/hosts

192.168.68.67 node1

192.168.68.68 node2

192.168.68.69 node3

 

分别设置每台虚拟机的名字

hostnamectl set-hostname node1

hostnamectl set-hostname node2

hostnamectl set-hostname node3

 

把hosts文件发送给其它主机

scp /etc/hosts node2:/etc/

scp /etc/hosts node3:/etc/

 

（3）设置免密登录，并把密钥文件拷贝到其他两节点

ssh-keygen

ssh-copy-id node2

ssh-copy-id node3

二、安装过程：

关闭防火墙及selinux

systemctl stop firewalld

systemctl disable firewalld

setenforce 0

sed -i s/=enforcing/=disabled/g /etc/sysconfig/selinux

 

（1）所有节点安装rabbtimq和erlang软件包：

yum install -y erlang rabbitmq-server.noarch

systemctl enable rabbitmq-server.service

systemctl start rabbitmq-server.service

systemctl status rabbitmq-server.sevice

 

查看监听端口：

netstat -lantp | grep 5672

 

配置文件：

vim /etc/rabbitmq/rabbitmq.config

 

（2）node1：修改guest密码为admin（默认用户为：guest 密码为：guest)

rabbitmqctl change_password guest admin

 

（3）node1：添加一个openstack的用户，并设密码为admin。并设置权限和成为管理员

node1：

rabbitmqctl add_user openstack admin

rabbitmqctl set_permissions openstack ".*" ".*" ".*"

rabbitmqctl set_user_tags openstack administrator

 

4）node1：编辑rabbittmq变量文件

vim /etc/rabbitmq/rabbitmq-env.conf

RABBITMQ_NODE_PORT=5672
ulimit -S -n 4096
RABBITMQ_SERVER_ERL_ARGS="+K true +A30 +P 1048576 -kernel inet_default_connect_options [{nodelay,true},{raw,6,18,<<5000:64/native>>}] -kernel inet_default_listen_options [{raw,6,18,<<5000:64/native>>}]"
RABBITMQ_NODE_IP_ADDRESS=192.168.68.67 （需要写本节点ip）

（5）node1：将rabbittmq变量文件拷贝到其他两节点，之后并修改相应节点的ip

scp /etc/rabbitmq/rabbitmq-env.conf node2:/etc/rabbitmq/

scp /etc/rabbitmq/rabbitmq-env.conf node3:/etc/rabbitmq/

 

查看rabbitmq插件

/usr/lib/rabbitmq/bin/rabbitmq-plugins list

 

（6）所有节点开启rabbitmq的web管理页面

rabbitmq-plugins enable rabbitmq_managemen

systemctl restart rabbitmq-server.service

systemctl status rabbitmq-server.service

 

（7）node1发送erlang.cookie到其他节点配置集群

 

scp /var/lib/rabbitmq/.erlang.cookie node3:/var/lib/rabbitmq/

 

（8）node2和node3停止应用，并以ram的方式加入node1节点，之后重启应用

systemctl restart rabbitmq-server.service

rabbitmqctl stop_app

rabbitmqctl join_cluster --ram rabbit@node1

rabbitmqctl start_app

 

（9）node1检查集群状态

 rabbitmqctl cluster_status

 

（10）登陆验证：http://ip:15672          guest/admin

  

其他命令：

（1）添加管理员：

rabbitmqctl add_user mqadmin mqadmin

rabbitmqctl set_user_tags mqadmin administrator

rabbitmqctl set_permissions -p / mqadmin ".*" ".*" ".*"

 

（2）更改节点类型（内存型或磁盘型）

rabbitmqctl stop_app

rabbitmqctl change_cluster_node_type disc 或

rabbitmqctl change_cluster_node_type ram

rabbitmqctl start_app

 

（3）从集群移除节点（或者重置节点）

rabbitmqctl stop_app

rabbitmqctl reset

rabbitmqctl start_app

rabbitmqctl cluster_status

 

（4）从某个节点移除集群中其他节点

rabbitmqctl forget_cluster_node rabbit@node3

rabbitmqctl reset  在node3操作

rabbitmqctl start_app

rabbitmqctl cluster_status

 

1. 保证集群中至少有一个磁盘类型的节点以防数据丢失，在更改节点类型时尤其要注意。

2. 若整个集群被停掉了，应保证最后一个 down 掉的节点被最先启动，若不能则要使用 forget_cluster_node 命令将其移出集群

3. 若集群中节点几乎同时以不可控的方式 down 了此时在其中一个节点使用 force_boot 命令重启节点