redis集群与rabbitmq集群

最新推荐文章于 2025-01-01 21:00:18 发布
最新推荐文章于 2025-01-01 21:00:18 发布
阅读量660 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： redis # membercached 缓存 mq
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yangyongdehao30/article/details/83105957
本文深入探讨Redis集群的哨兵模式与分片原理，以及RabbitMQ集群的erlang cookie同步机制和消息路由策略，揭示两者在互联网项目中的核心作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

 

互联网项目中，redis和mq几乎成标配，开源的rabbitmq更加受欢迎，以下记录下相关原理，哪天忘记了 来瞅一眼

 

redis集群指官方推荐集群方式，最少部署6个节点，会自动进行分片，副本集群。6个节点时，会分3个片，每个片一个副本。

 

为啥要分3个片呢？----redis集群采用的是哨兵模式，网上文章很多，我这一句话总结：哨兵负责主从之间报信 和选举（低于3个哨兵的投票没有任何意义）。

如果发现主节点 或者从节点有异常，大家马上就知道了。从节点有异常就标记一下，主节点有异常就比较麻烦了，要重新选取新的主节点。（主节点是否挂掉，由哨兵们选举决定，过半的人觉得他挂了，嗯。。他就挂了）。

选择为主节点后，会告诉所有从节点，XX成主节点了，xx成从节点了，并将XX的所有数据都同步到xx中。然后转换完成。

那redis是如何写到不同的主节点的，嗯，他采取了CRC16算法，总的来说会出现2^16次方个值，但基于节省空间的原则，作者选了存储量在20k的2^14次方16384个槽。有N个主节点，算出来的槽在(16384/N)哪个区间内，然后进行读写。嗯，就是分库分表的原理。

 

rabbitmq集群------采用erlang特性 cookie同步，将对应的.erlang.cookie值设置为相同即可，他们之间的信息就会相互copy。嗯，在我看来就是文件共享。这样所有的节点都是水平分布的，那又是如何确定写入不同的主节点呢

 

rabbitmq通常需要装一个插件HAProxy代理，性能巨好，通过rabbion算法分配，当然也可以自己定义。当然，使用你ngxin、F5等等都是OK的，只要能扛得住流量

 

RabbitMQ之集群方案原理
凉茶铺的博客
12-02 1561
介绍了RabbitMQ集群概念
MySQL集群、Redis集群、RabbitMQ集群
云想衣裳花想容，春风拂槛露华浓
07-15 2251
MySQL-MMM 是 Master-Master Replication Manager for MySQL（mysql 主主复制管理器）的简称。脚本）。MMM 基于 MySQL Replication 做的扩展架构，主要用来监控 mysql 主主复制并做失败转移。其原理是将真实数据库节点的 IP（RIP）映射为虚拟 IP（VIP）集。
Rdeis集群搭建
10-10
Redis集群搭建，扩展高并发，高可用，避免单线掉落，较优的缓存数据库
常用服务的集群搭建（redis、MQ、es、zookerper）
MainPoser的博客
06-08 2211
常用服务的集群搭建（redis、MQ、es、zookerper） 1.集群概述 1.1什么是集群 1.1.1集群概念 集群是一种计算机系统， 它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。一...
Redis三种集群模式-Cluster集群模式
weixin_30394251的博客
07-06 1622
Redis三种集群模式-Cluster集群模式 一、　　在之前有看到过redis集群部署的三种方案，不过性能最高的还是redis官方推荐的redis-cluster，性能最高，下面介绍一下redis-cluster这种模式。 1、redis-cluster A、采用去中心化的思想，没有中心节点的说法，它使用hash slot方式将16348个hash slot覆盖到所有节点上，对于存储的每个...
Linux服务集群部署实战--MySQL、Redis、ES、RocketMQ、Zookeeper
学亮编程手记
01-19 1055
部署架构 部署计划 MySQL服务部署 架构 规划 部署pxc集群 部署MySQL主从架构 部署mycat集群 创建表以及测试 部署HAProxy redis集群部署 redis集群采用3主3从的架构。 规划 实施 ElasticSearch集群部署 ES部署3个节点的集群。 规划 实...
基于Nginx + Tomcat集群 + Redis多集群 + RabbitMQ + PXC集群 + MySQL主从复制的高并发
11-01
mysql主从复制
Netty集群构建技术：集成Zookeeper、Redis与RabbitMQ实现分布式系统优化
03-15
其他说明：文中提供了大量实战代码样例和技术细节讲解，帮助读者深入理解各组件的作用及相互关系，进而掌握Netty集群的设计思想与实现技巧。此外还涉及到了诸如服务治理、负载均衡等概念，在理论层面上丰富了文章的...
Redis集群与搭建文档，很详细
05-16
Redis将数据保存在内存中，并可选地持久化到磁盘上，同时支持主从复制以及集群模式，其复制和集群功能可以提高系统的可用性和扩展性。 Redis的速度之快，主要得益于以下几个方面： 1. 完全基于内存操作，没有磁盘I/...
Redis入门到精通(十二),Redis集群的意义（一）
weixin_62319133的博客
07-24 1478
Redis入门到精通 专栏会分几期介绍Redis的概念操作，以及生产过程中频繁出现的一些问题及解决方案，在几期内逐渐深入带你全面了解Reids 本文为该专栏第十期，主要介绍Redis的集群相关原理
erlang开发简介
12-07
erlang
rabbitmq和redis的集群方案
fyxxq的专栏
12-16 3943
rabbitmq和redis都是常用的中间件和缓存系统。分别简单记录一下他们的分布式集群方案。以备后用 Rabbitmq: 普通集群与mirror queue http://blog.youkuaiyun.com/whycold/article/details/19413399 Redis: 1. 最简单的主从方案：支持master和slave的配置，通过配置文件进
redis 集群化 rabbitmq 的基础
sqhhb12138的博客
11-08 88
使用 cluster nodes 可以看到整个集群的配置情况 前面的为各个实力的标识码 后面带着 0-5460 的槽点的为主机 整个集群总共平分 16383 个槽点。3台虚拟机均配置好最基础的redis数据库 redis的版本最好在5.0以上 redis在3.0时开始支持集群化的配置 而在5.0时集成到安装包中。在安装好redis的机器中创建出6个用来配置集群的redis的实例 在相应的实例中写入相应的配置文件。其中前面的部分为执行的指令部分后面跟着的第一个参数为添加的实例 后面跟着的是集群内的实例。
Redis&RabbitMQ
weixin_70730532的博客
09-01 5521
Redis是非关系型数据库，其存储的形式是键值对的形式key: value，是使用c语言编写的，数据是基于内存存储的，支持持久化，读写速度快，·通过集群模式提供高可靠。作用:(1）用来存放热点数据（首页数据热搜)(2）作为缓存使用(mybatis二级缓存)(3）作为消息队列使用(4)分布式锁redis的持久化就是把内存的数据写到磁盘中去，防止服务宕机了内存数据丢失。是Redis DataBase缩写快照RDB是Redis默认的持久化方式。
Rabbit MQ和Kafka
12-05 1076
这些天读了两本关于Rabbit MQ和Kafka的书，把一些关键点总结下。 一、Rabbit MQ Rabbit MQ用Erlang语言实现了AMQP（advanced Message Queuing Protocol）协议。相比于Java领域的JMS，AMQP没有在API层面进行限定，而是定义了网络交换的数据格式。因此，JMS只能用于Java平台，而AMQP可天然就是跨平台的，比如，prod...
redis的发布订阅与rocketmq比较
a635732917的博客
01-01 1129
redis的发布订阅与rocketmq比较1.redis的发布的订阅，需要发布者和订阅者连接到同一个redis服务，发布的消息是“非持久”的，即消息发布者只负责发送消息，而不管消息是否有接收方，也不会保存之前发送的消息，即发布的消息“即发即失”；消息订阅者也只能得到订阅之后的消息，频道（channel）中此前的消息将无从获得。此外，消息发布者（即publish客户端）无需独占与服务器端的连接，您可以在发布消息的同时，使用同一个客户端连接进行其他操作（例如List操作等）。
Redis分片集群+MQ处理高并发
记得开心一点嘛的博客
12-23 1507
Redis 集群（）是一种分布式的 Redis 实现，它可以将数据分布到多个 Redis 节点上，从而实现数据分片（Sharding）和高可用性。Redis 集群的分片方式是通过哈希槽（Hash Slots）将数据分布到多个节点中，而每个 Redis 集群节点负责一部分哈希槽的管理。
RabbitMQ集群与Redis集群 之2台云服务器多机的坑
心月梦天的博客
12-11 1650
我只有一台服务器的时候找集群的文章都是多台服务器的 我去买了台服务器然后搜又全是单机或者虚拟机的 这是被针对了吧 而且同样是云服务器 为什么腾讯云比别的慢   1.Redis       redis搭建集群需要至少6个节点  所以得拷贝redis.conf到一个cluster的文件夹的不同端口号的子文件夹下 [root@rabbitMq1 cluster]# cp ../redis.con...
分布式事务---消息队列解决方案（本地消息表）
as4566的博客
10-17 2116
这一章我们介绍下分布式情况下进行事务的处理的方法----消息队列异步解决方案，也通过这个方案我们聊一聊分布式中的BASE理论在这里的体现。 对于事务我不多加介绍，分布式事务有几种解决方案如：2PC（两阶段提交），3PC（三阶段提交），补偿事务（TCC），消息队列异步。但是考虑到分布式下各种异常情况考虑下，常见生产方案一般都是消息队列异步解决方案，使用本地消息表保证异步的消息一致性，我们结合分布式理论聊聊消息队列异步解决方案。
redis消息队列 rabbitMQ
最新发布
05-08
### Redis 消息队列与 RabbitMQ 的使用场景与性能对比 #### 功能复杂度 RabbitMQ 提供了丰富的功能集，包括复杂的路由规则、死信队列以及延迟队列等功能。这些特性使得它非常适合需要高度定制化的消息传递场景[^2]。相比之下，Redis 的消息队列功能较为基础，主要依赖其发布订阅模型或者列表数据结构来实现简单的消息队列功能。 #### 性能表现 在高吞吐量和低延迟的要求下，Redis 表现出色。由于 Redis 将所有数据存储在内存中并支持高效的读写操作，因此它的速度通常优于 RabbitMQ[^3]。然而，在面对大规模消息堆积的情况下，Redis 的内存消耗会显著增加，可能导致性能下降甚至崩溃[^2]。 #### 部署与维护 RabbitMQ 的部署过程相对繁琐，涉及多个方面的考量，比如集群搭建、数据持久化策略制定及后续的性能优化等工作，这无疑提高了系统的运维门槛[^2]。与此同时，为了充分发挥 RabbitMQ 的潜力，开发者还需掌握 AMQP 协议及其内部工作机制等相关知识[^4]。与此相反的是，基于 Redis 构建的消息队列则显得更加轻便快捷，易于集成到现有的应用程序当中去[^3]。 #### 数据可靠性 尽管 Redis 支持 AOF (Append Only File) 或 RDB (Redis Database Backup) 这样的持久化方式以保障数据安全，但是在某些极端条件下（例如突然断电），仍有可能造成少量的数据损失；再加上其 Pub/Sub 不具备任何形式上的确认机制，这意味着如果订阅端未能及时接收信息，则该条目极有可能永久遗失[^2]。另一方面，得益于 Erlang 编程语言天生优秀的容错能力和内置事务管理器的帮助，即使遭遇突发状况，RabbitMQ 也能较好地保护未被成功投递出去的信息免受损害[^4]。 ```python import pika connection = pika.BlockingConnection(pika.ConnectionParameters('localhost')) channel = connection.channel() channel.queue_declare(queue='hello') def callback(ch, method, properties, body): print(f"Received {body}") channel.basic_consume(queue='hello', on_message_callback=callback, auto_ack=True) print('Waiting for messages.') channel.start_consuming() ``` 以上是一个利用 Python 库 `pika` 来连接 RabbitMQ 并消费消息的例子。 ```python import redis r = redis.Redis(host='localhost', port=6379, db=0) pubsub = r.pubsub() pubsub.subscribe(['test-channel']) for message in pubsub.listen(): if message['type'] == 'message': print(message['data']) ``` 这是另一个采用 Python 官方推荐库 `redis-py` 实现监听来自指定频道广播事件的功能片段。 #### 结论 综上所述，当项目需求侧重于简化架构设计同时追求极致效率时可优先选用 Redis；而对于那些期望获得更全面解决方案的企业级应用而言，或许 RabbitMQ 才是最理想的选择[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值