redis-cluster设计

Redis Cluster 主要特点和设计原理 这意味着,在具有N个主节点的Redis集群中,因为是线性扩容的设计,您可以预期得到单个Redis实例乘以N的性能。在由N个主节点组成的集群的示例中,其中每个节点具有单个从节点,并且当两个节点被分开时,将以1-(1/(N*2-1))的概率保持可用(在第一个节点发生故障之后,我们总共剩下N*2-1个节点,并且没有从的单主节点发生故障的概率为1/(N*2-2))。例如,在具有5个节点和每个节点一个从节点的集群中,存在1/(5*2-1)=11.11%的概率,即在将两个节点从多数节点分离后,集群将不再可用。 阅读详情

一、redis-cluster设计
Redis集群搭建的方式有多种,例如使用zookeeper等,但从redis 3.0之后版本支持redis-cluster集群,Redis-Cluster采用无中心结构,每个节点保存数据和整个集群状态,每个节点都和其他所有 节点连接。
其结构特点:

 1、所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。
 2、节点的fail是通过集群中超过半数的节点检测失效时才生效。
 3、客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。
 4、redis-cluster把所有的物理节点映射到[0-16383]slot上(不一定是平均分配),cluster 负责维护node<->slot<->value。

 5、Redis集群预分好16384个桶,当需要在 Redis 集群中放置一个 key-value 时,根据 CRC16(key) mod 16384的值,决定将一个key放到哪个桶中。

1、redis cluster节点分配

现在我们是三个主节点分别是:A, B, C 三个节点,它们可以是一台机器上的三个端口,也可以是三台不同的服务器。那么,采用哈希槽 (hash slot)的方式来分配16384个slot 的话,它们三个节点分别承担的slot 区间是:

  节点A覆盖0-5460;
  节点B覆盖5461-10922;
  节点C覆盖10923-16383.



 获取数据:

  如果存入一个值,按照redis cluster哈希槽的算法: CRC16('key')%16384 = 6782。 那么就会把这个key 的存储分配到 B 上了。同样,当我连接(A,B,C)任何一个节点想获取'key'这个key时,也会这样的算法,然后内部跳转到B节点上获取数据 



 新增一个主节点:

  新增一个节点D,redis cluster的这种做法是从各个节点的前面各拿取一部分slot到D上,我会在接下来的实践中实验。大致就会变成这样:


节点A覆盖1365-5460
节点B覆盖6827-10922
节点C覆盖12288-16383
节点D覆盖0-1364,5461-6826,10923-12287


 同样删除一个节点也是类似,移动完成后就可以删除这个节点了。



 2、Redis Cluster主从模式
      redis cluster 为了保证数据的高可用性,加入了主从模式,一个主节点对应一个或多个从节点,主节点提供数据存取,从节点则是从主节点拉取数据备份,当这个主节点挂掉后,就会有这个从节点选取一个来充当主节点,从而保证集群不会挂掉。

  上面那个例子里, 集群有ABC三个主节点, 如果这3个节点都没有加入从节点,如果B挂掉了,我们就无法访问整个集群了。A和C的slot也无法访问。

 所以我们在集群建立的时候,一定要为每个主节点都添加了从节点, 比如像这样, 集群包含主节点A、B、C, 以及从节点A1、B1、C1, 那么即使B挂掉系统也可以继续正确工作。

 B1节点替代了B节点,所以Redis集群将会选择B1节点作为新的主节点,集群将会继续正确地提供服务。 当B重新开启后,它就会变成B1的从节点。

不过需要注意,如果节点B和B1同时挂了,Redis集群就无法继续正确地提供服务了。
Redis Cluster集群的搭建与实践 Redis Cluster集群 一、redis-cluster设计 Redis集群搭建的方式有多种,例如使用zookeeper等,但从redis 3.0之后版本支持redis-cluster集群,Redis-Cluster采用无中心结构,每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。其redis-cluster架构图如下: 其结构特点:      1、所有的redis节点彼此互联(PI 阅读详情

相关推荐

Redis cluster去中心化设计的思考与总结

分布式存储⼀般都是通过多副本的形式保证数据可靠,多副本之间使⽤⼀致性协议保证数据⼀致,所以⼀般都需要⼀个Leader节点负责协调写⼊,常见的分布式存储如Zookeeper的工作模式即是 Leader 协调写入,⾼并发场景下Leader单节点会成为系统的瓶颈,单节点的瓶颈本质就是中心化的问题。所以解决的办法就是 采用去中心化的设计,比如redis cluster的模式。

m0_69804655的博客 286

Redis Cluster(无中心化设计)

在哨兵sentinel机制中,可以解决redis高可用问题,即当master故障后可以自动将slave提升为master,从而可以保证redis服务的正常使用,但是无法解决redis单机写入的瓶颈问题,即单机redis写入性能受 限于单机的内存大小、并发数量、网卡速率等因素。redis 3.0版本之后推出了无中心架构的机制,在无中心的redis集群当中,其每个节点保存当前节点数据和整个集群状态,每个节点都和其他所有节点连接。

weixin_68398469的博客 1272

为什么 Redis Cluster 要设计 16384 个槽?答案比你想的聪明

在准备 Java 社招面试时,Redis 哈希槽几乎是高频必考点。很多同学知道有 16384 个槽,却说不明白它为什么重要、怎么工作、扩容时又怎么迁移。今天我用一个轻松的故事,把哈希槽讲到你心里,一次彻底读懂 Redis Cluster 的底层逻辑。

孤芳不自赏 824

redis-cluster

一、redis-cluster设计 Redis-Cluster采用无中心结构,每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。 其结构特点: 1、所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽。 2、节点的fail是通过集群中超过半数的节点检测失效时才生效。 3、客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可。 4、redis-cluster把所有的物理节点映射到[0-16383

PersonalM的博客 324

Redis Sentinel与Cluster的运维与架构设计

本文详细解读了Redis Sentinel的高可用实现、节点配置、读写分离设计思路,以及Redis Cluster的分布式解决方案。重点介绍了Sentinel节点的添加、主节点的故障转移、读写分离模型,以及Redis Cluster的数据分布理论和实践。通过对这些关键概念的分析,为读者提供了深入理解Redis高可用和分布式架构的方法。

weixin_36123300的博客 295

STM32F030F4P6实战:LL库+DMA驱动WS2812全流程(附避坑指南)

本文详细介绍了如何使用STM32F030F4P6的LL库和DMA驱动WS2812 LED灯带的全流程,包括硬件选型、CubeMX配置、LL库与DMA关键实现、数据格式转换及调试技巧。特别提供了避坑指南,帮助开发者避免常见错误,提升开发效率。

weixin_29194693的博客 487

浅谈Redis Cluster

数据分区方式:节点取余、一致性哈希、虚拟槽 节点取余:根据key的hash值和节点数取模的方式计算出节点ID,然后向对应的节点提交数据,如下图所示。 一致性哈希: 虚拟槽:...

Shuai.Zhang 8831

IBM V3700更换控制器2(503错误)

正常的node1 ,机器代码版本:7.5.0.3, 机器代码构建:115.51.1509171734000。耐心等待后,刷新,看到node2,状态变成 节点状态:服务,错误:656,版本和node1一样了。新换的node2 ,机器代码版本:7.2.0.5, 机器代码构建:87.8.1404221000。耐心等待,刷新,node2,状态看到了,节点状态:活动,错误 724 1 1 0。拔出故障的控制,把内存和HBA卡,电池换到新的控制器。新的控制还是报错无法使用,节点状态:服务 错误:503。

klyshao的博客 4450

Redis Cluster 分区键设计方案

需确保关联数据落在同一槽位,例如通过哈希标签({}包裹部分键名)强制指定槽位,如"product:{123}_info"和"product:{123}_stock"会被分配到同一节点,保障事务一致性。例如,为不同租户分配独立的槽位区间(0-5000给租户A,5001-10000给租户B),结合命名空间前缀(如"tenantA:key"),既能保证性能,又便于按租户管理资源。通过以上设计策略,Redis Cluster能高效支撑高并发场景,开发者需结合实际业务灵活运用分区键规则,最大化发挥分布式架构优势。

owsvga_517的博客 207

运行openclaw gateway install时出现Gateway install failed: Error: schtasks create failed的解决方案

本文主要介绍了运行openclaw gateway install时出现Gateway install failed: Error: schtasks create failed的解决方案,希望能对学习和使用openclaw的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案

weixin_43178406的博客 11万+

华为od 面试八股文_Spring_03_含答案

控制反转IOC是一个很大的概念,可以用不同的方式来实现。其主要实现方式有两种:依赖注入和依赖查找依赖注入;

MISAYAONE的博客 2344

Redis Cluster 分布式缓存架构设计与实践

Redis Cluster是一种分布式缓存架构,通过分片技术(16384个哈希槽)和高可用设计解决单机Redis的性能瓶颈与单点故障问题。其核心包括去中心化节点结构、主从复制机制和自动故障转移能力,采用Gossip协议维护集群状态。在实际应用中,它适用于高并发Web、实时数据分析和微服务场景,能有效缓存热点数据并支持水平扩展。搭建过程需配置多个主从节点实例,通过CRC16算法实现键值路由。该架构显著提升了系统的并发处理能力和可用性。

ALex_zry的博客 1264

TC8:IPv4_HEADER_01-04

IPv4_HEADER_01: Ensure that the DUT generates an IPv4 Packet with a Total Length greater than or equal to 20 目的 确保DUT生成的IPv4报文的IP头部中的Total Length字段值大于等于20 IPv4协议头部中的Total Length字段表示整个IP数据包的长度,包括IP Header和payload之和,IP首部的长度最少就有20个字节,所以Total Length值肯定大于等于20

jasonj333 3967

《Redis高并发架构设计:从单机到Cluster的最佳实践》

文章围绕Redis高并发架构设计,介绍从单机到Cluster的演进。摘要将提炼核心要点,助你快速了解Redis架构知识。 ### Redis高并发架构设计:从单机到Cluster的最佳实践摘要 本文聚焦Redis高并发架构设计,阐述基础部署模型差异,单机模式适用于测试等场景,主从+Sentinel满足中小规模业务,Redis Cluster支撑核心生产环境。深入解析Cluster架构槽位分片与高可用原理,针对热点key和跨槽事务痛点,提出多副本、本地缓存及Lua脚本等解决方案。结合去哪儿网实战,分享混合

lcl_032015的博客 735

NTC热敏电阻选型快速指南

NTC(Negative Temperature Coefficient Thermistor)负温度系数热敏电阻器,是由锰Mn,镍Ni,铜Cu,一氧化碳Co等烧结而成的氧化物。其电阻值随温度的升高而减小,即具有复温度系数,故被称为负温度系数热敏电阻。本文对热敏电阻的应用场景,结构特点和选型参数进行总结。

fydar的博客 1297

linux 基于debian/ubuntu AB系统适配(二)-updateEngine移植

其实A/B系统的原理很简单,大部分的工作都集中在uboot上,rootfs只是起到一个辅助的作用,但这个作用也就必不可少的。你会发现在这个其中并没有kernel的参与。

badbayyj的博客 1035

redis cluster集群架构详解(八)-redis cluster设计目标

redis 具备Cluster功能后,Redis从一个单纯的NoSQL内存数据库变成了分布式NoSQL数据库,CAP模型也从CP变成了AP。也就是说,通过自动分片和冗余数据,Redis具有了真正的分布式能力。某个结点挂了,因为数据在其他结点上有备份,所以其他结点可以继续提供服务,保证了Availability。然而,也正因为这一点,Redis无法保证曾经的强一致性了。这也是CAP理论要求的,三者只...

二总的猫 688

Clawdbot安装教程:从零开始到接入飞书

这几天,Clawdbot把整个科技圈都刷屏了。就是这个胖逼小龙虾🦞。不过现在改名叫Moltbot了。原因很简单:被Anthropic告了。Anthropic觉得Clawdbot这名字太像Claude Code的延伸产品,要求改名。真的,Anthropic你这家伙…更离谱的是,因为Clawdbot太火,Mac Mini都被抢断货了。无数人为了用它,疯狂买Mac Mini。我刚打开美团外卖,发现居然没货了???

Maynor的博客 2181

Redis集群、Redis集群结构设计、Cluster集群结构的搭建(Redis版本redis-6.2.6)

redis-cli --cluster 方式搭建集群Redis集群集群简介集群架构Redis集群结构设计数据存储设计集群内部通讯设计Cluster集群结构搭建搭建方式Cluster配置Cluster节点操作命令redis-cli --cluster 命令Cluster集群结构搭建具体步骤集群构建中出现的问题及解决办法 Redis集群 集群简介 现状问题:业务发展过程中遇到的峰值瓶颈 Redis提供的服务OPS可以达到10万/秒,当前业务OPS已经达到20万/秒 内存单机容量达到256G,当前业务需求内

qingbo_2920249511的博客 1125

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

【Redis高可用架构设计】:哨兵与Cluster模式选型实战指南

掌握Redis高可用架构设计难题,本redis实战教程详解哨兵与Cluster模式选型方法,覆盖故障转移、数据分片与扩展场景。对比适用条件与性能优势,助你构建稳定高效系统,值得收藏。

PixelIsle的博客 1089

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

Redis Cluster 高可用架构设计

Redis作为高性能的内存数据库,其集群模式(Redis Cluster)通过分布式架构实现了数据分片与高可用性,成为企业级应用的热门选择。当请求发送到错误节点时,Redis Cluster返回MOVED/ASK重定向指令,主流客户端(如Jedis、Lettuce)会缓存槽位映射表,后续请求直接命中正确节点。每个分片由主节点和至少一个从节点组成,主节点故障时,集群会触发自动选举:从节点通过Raft协议竞选为新主节点,确保服务不中断。节点间通过Gossip协议广播状态信息,包括节点存活、槽位分布等。

pbrjgw_149的博客 353

win10 跳过U8环境检测的IE WebControls.rar

win10 安装u8的时候 提示IE WebControls 不通过,这个工具可以欺骗u8的检查。 跳过U8环境检测的IE WebControls。提示导入失败后,重新检测通过。

Redis Cluster集群(Linux设计搭建)

Redis Cluster集群一、redis-cluster设计Redis集群搭建的方式有多种,例如使用zookeeper等,但从redis 3.0之后版本支持redis-cluster集群,Redis-Cluster采用无中心结构,每个节点保存数据和整个集群状态,每个节点都和其他所有节点连接。其redis-cluster架构图如下:其结构特点:     1、所有的redis节点彼此互联(PING...

不列颠 1249

Redis Cluster设计规范

文章目录一. 问题背景二. 前言三. Redis Cluster设计规范3.1 Redis Cluster的目标3.2 子集3.3 Redis Cluster协议中的客户端和服务器角色3.4 写安全3.5 可用性3.6 表现 一. 问题背景 做好了基于Docker搭建Redis集群后,用Redis集群做了很多实验,得到的实验结果并不符合网上的很多理论。因此深入了解Redis Cluster架构以及设计规范,解开了很多疑惑。如果对Redis架构演变不了解,阅读本文章前推荐先阅读关于Redis的架构。 .

Android_la的博客 255
上一篇: redis 集群为什么会有16384 个槽
下一篇: Macos安装报错 ld: library not found for -lssl
freedompython
博客等级 码龄9年 7粉丝 51原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值