Redis集群

中国银行信息科技岗位笔试 收到笔试只剩四天了,收集的资料,后续会更新 阅读详情

目录

引入

数据分片算法  

哈希求余

优点

缺点

一致性hash算法

优点

缺点

哈希槽分区算法(Redis使用)

拓展问题 

Q1:Redis集群最多只有16384个分片吗?

Q2:为什么是16384个槽位?


引入

redis哨兵能够提高系统的可用性,但是真正存储数据的还是master和slave节点,所有的数据都保存在单个master和slave节点中,如果数据量很大,接近超出了master/slave所在的机器的物理内存,就会出现严重问题!

众所周知,redis的数据是保存在内存上的 ,即便现在的大公司的内存已经能够达到TB级别,但是在现在的这种大数据环境下,显然是不够的

Redis集群应运而生,引入多组Master/Slave,每一组Master/Slave存储数据全集的一部分,从而构成一个更大的整体,称为Redis集群(Cluster)

  • 上图三个不同的redis的主从结构分别存储的数据集3TB的1/3  
  • 每一个红框都可以是一个分片(Sharding)

数据分片算法  

Redis cluster 的核心思路是用多组机器来存数据的每个部分,那么接下来的核心问题就是,给定一个数据(一个具体的key),将他分配到应该去到的分片上

哈希求余

设有N个分片[0,N-1] 进行编号 

假设一共有三个分片,那么得到key后将他hash之后%3 得到分片编号

优点

简单高效、分配均匀

缺点

一旦需要进行扩容,N发生了改变,那么原有的映射规则都被破坏了,需要将所有数据进行重新排列,以满足新的映射规则,此时需要搬运的数据量很大

一致性hash算法

 为了降低上述的搬运开销, 能够更⾼效扩容, 业界提出了 "⼀致性哈希算法"

 第一步:把[0,2^32-1] 这个数据空间,映射到一个圆环上,数据按照顺时针方向增长。

第二步:假设当前存在三个分片,就把分片放到圆环的某个位置上 

第三步:假设此时有一个key,那么hash得到的值为H,那么将这个key映射到哪一个分片呢?

即从H位置顺时针往下找,直到找到的第一个分片,就是该key所属的分片

那么在这种一致性hash的情况下,如果扩容一个分片,如何处理呢?

原有分片不动,在环上安排一个新的分片位置即可

此时,只需要把0号分片上的部分数据,搬运给3号分片即可,1号和2号分片管理的区间都是不变的 

优点

大大降低了扩容时数据搬运的规模,提高了扩容操作的效率

缺点

数据分配不均匀(有的多有的少,数据倾斜)

哈希槽分区算法(Redis使用)

为了解决上述问题,Redis cluster引入了哈希槽(hash slots)算法

hash_slot = crc16(key) % 16384
  • | crc16 也是一种hash算法
  • | 16384 其实是16 ^ 1024  = 2 ^ 14

相当于将所有key值映射到 16384 个槽位上,也就是[0,16383]

然后再把这些槽位均匀的分配给每个分片,每个分片的节点都需要记录自己持有哪些分片

假设当前有三个分片,一种可能的分配方式:

  • 0 号分⽚: [0,5461], 共 5462 个槽位
  • 1号分⽚:  [5462,10923],共5462个槽位
  • 2号分⽚:  [10924,16383],共5460个槽位

TIPS:这里的分片规则是很灵活的,每个分片所持有的槽位也不一定连续,每个分片的节点使用位图来记录自己拥有哪些槽位,对于16384的槽位来说,需要2048个字节(2KB)大小的内存空间表示

此时扩容增加了一个3号分片,即可以针对原有的槽位进行重新分配。

即可以把原有分片所持有的槽位分给新的分片。

  • 0 号分⽚:[0,4095],共4096 个槽位
  • 1 号分⽚:[5462,9557],共 4096 个槽位
  • 2 号分⽚:[10924,15019],共 4096 个槽位
  • 3 号分⽚:[4096,5461]+ [9558, 10923] + [15019, 16383], 共 4096 个槽位?

TIPS:实际使用的时候,不需要手动指定哪些槽位分配给某个分片,只需要告诉某个分片应该持有多少槽位即可,Redis会做单完成分配和搬运

拓展问题 

Q1:Redis集群最多只有16384个分片吗?

A1:nonono,实际上redis作者建议集群分片不要超过1000. 更何况如果你是用16000以上的那么大个规模的集群,本身的可用性也是一大问题

Q2:为什么是16384个槽位?

A2:这里直接翻译Redis原作者的话,大致是如下。

  • 节点之间的通讯是通过心跳包机制的,而心跳包是频繁的发送,心跳包又包含了该节点的各种信息包括所持有的槽。当槽的个数是16384的时候,位图的大小为2kb,但如果槽的个数是65535的时候,此时的位图大小将来到恐怖的8kb,虽然这对于内存不算什么,但是在网络中,仍然是一个不晓得开销
  • 另一方面,Redis集群一般不会超过1000个分片,所以16k对于最大1000个分片的下的情景是足够使用的,同时对应的槽的体积也不会很大
Apollo 9.0 参考线生成器 -- ReferenceLineProvider 在基于参考线的规划算法中,参考线是Planning一切工作的基础和前提,所以搞清楚参考线怎么来的就变得很重要。为此,首先需要了解Planning 与 Routing的交互,通过交互得到路径片段,这些路径片段就告诉我们该怎么走,再在此基础上生成参考线,最后使用不同的平滑算法对参考线进行平滑,得到一条光滑的参考线。 阅读详情

相关推荐

基于深度学习的道路裂缝检测识别研究(开题报告)

具体而言,将本研究提出的模型与其他先进的道路裂缝检测算法在相同的数据集上进行对比实验,通过对比实验结果,分析不同算法在准确率、召回率、F1值等指标上的优劣,以及在实际应用中的表现。通过对综述论文的学习了解,对计算机视觉、多模态相关领域的基础进行简要介绍,并在跨模态行人重识别研究领域归纳国内外研究现状和发展趋势,明确当前面临的问题和挑战,并针对当前存在的问题展开后续研究。第二,研究解决该问题的途径和方法。基于深度学习的道路裂缝检测识别研究,旨在通过构建和优化深度学习模型,实现对道路裂缝的自动识别和定位。

毕业作品网站 3832

Redis数据分片详解

Redis 集群简介 Redis Cluster 是 Redis 的分布式解决方案,在 3.0 版本正式推出,有效地解决了 Redis 分布式方面的需求。 Redis Cluster 一般由多个节点组成,节点数量至少为 6 个才能保证组成完整高可用的集群,其中三个为主节点,三个为从节点。三个主节点会分配槽,处理客户端的命令请求,而从节点可用在主节点故障后,顶替主节点。 图片来源 redislabs 如上图所示,该集群中包含 6 个 Redis 节点,3主3...

FYHannnnnn的博客 2422

CST软件中SPICE模型的高效导出与转换技巧(txt到cir实战指南)

本文详细介绍了在CST Studio Suite中高效导出与转换SPICE模型的实战技巧,重点讲解了如何将txt格式的模型转换为通用的cir格式。内容涵盖三种模型存在形式的处理方法、格式检查与内容清理、端口一致性验证等关键步骤,并提供了利用LTspice Export功能、批处理脚本以及结果一致性校验等进阶指南,帮助工程师实现场路协同仿真模型的无缝迁移与应用。

silver的专栏 1185

Redis集群分片

Redis集群分片

冯同学的博客 5201

TOD和PPS精确时间同步技术

授时

u010783226的专栏 1万+

基于分数阶傅里叶变换的chirp信号检测与参数估计(原理附代码)

线性调频信号(chirp信号) 顾名思义,该信号的频率随着时间线性变换,其复数表达形式如下: s(t)=e2jπ(f0t+0.5μt2)s(t)=e^{2j\pi(f_0 t+ 0.5\mu t^2)}s(t)=e2jπ(f0​t+0.5μt2) 根据欧拉公式,其相位项为2π(f0t+0.5μt2))2\pi(f_0 t+ 0.5\mu t^2))2π(f0​t+0.5μt2))。信号的角频率是相位对时间的导数。对相位求导后有2π(f0+μt)2\pi(f_0+\mu t)2π(f0​+μt),显然,f0f

weixin_42845306的博客 1万+

Redis 集群中 分片 和 槽 的概念

分片数量就是集群中Redis节点的数量。理论上,单机可以通过设置不同端口实现集群,但在实际应用中,是一个物理机对应一个节点,以免物理机挂掉影响多个节点,造成损失扩大。当然了,如果将Redis集群部署到云上,那另当别论。:slots是一个逻辑概念,属性是一个二进制位数组,数组长度为16384。2的14次幂,2048个字节。在没有明确指定到节点的时候,是没有具体的物理存储地址的。

孙晴 1578

未隔离电源设备使用usb转串口调试导致串口模块爆炸烧坏事故记录

这个事就发生在前两天,我们公司的wifi模块被客户用到了咖啡机上,客户寄了一台整机给我们协助调试,还送了几包咖啡豆,本想着还能打个咖啡喝一喝的,但就在咖啡机刚寄过来第一天,就出事了。而这个事故的发生,竟然仅仅是因为同事接了个串口模块到电脑调试打印导致的。谁也想不到,这个3.3V的供电的wifi模块居然还有这么大的威力。直接将usb转TTL串口模块的转换芯片给爆开了,咖啡机也给弄坏了,据同事描述当时情况就只见到一片火光和一声巨响,状况比较惨烈,所幸的是笔记本电脑没有烧坏,但是直接给崩蓝屏了。 ...

fangye945a的博客 6198

Redis -- 分片集群

Redis -- 分片集群

qq_33753147的博客 649

VMware VSAN 高级参数介绍(测试用)

VSAN 的策略驱动让我们看到了VSAN无穷的潜力,其设计思路相当新颖,在一个基础资源池上使用策略就能实现不同对象的区分服务,而目前没有其他厂家能到VMware这样的高度。 VSAN 呈现给用户配置很简单,但实际上设计及后台比较复杂。笔者无意间发现了VSAN的隐藏高级参数设置,有很多好玩的选项想分享出来。这些参数全部是针对每主机进行设置的。VSAN 中有很多默认设置,这些设置应该都是研发人员多次测试得出的最优值,修改可能导致环境异常,并不建议修改! 目录 参数1:全闪配置下 SSD 写缓存最大.

山水牧羊 2032

CAN通信:EB中配置CAN驱动,配置参数解析

以S32K314芯片说明,其他芯片不同,参数配置也有差异。

zhangxiaio1的博客 2174

Redis 集群 - 数据分片算法

• 节点之间通过⼼跳包通信.⼼跳包中包含了该节点持有哪些 slots.这个是使⽤位图这样的数据结构 表⽰的.表⽰ 16384 (16k) 个 slots,需要的位图⼤⼩是 2KB. 如果给定的 slots 数更多了,⽐如 65536 个了,此时就需要消耗更多的空间,8 KB 位图表⽰了. 8 KB,对于内存来说不算什么,但是在频繁的⽹络⼼跳包中,还是⼀个不⼩的开销的。

q322359的博客 1039

2023华为od机试真题【恢复数字序列】C++

2023华为od机试真题【恢复数字序列】C++ 对于一个连续正整数组成的序列,可以将其拼接成一个字符串,再将字符串里的部分字符打乱顺序。如序列8 9 10 11 12,拼接成的字符串为89101112,打乱一部分字符后得到90811211,原来的正整数10就被拆成了0和1。现给定一个按如上规则得到的打乱字符的字符串,请将其还原成连续正整数序列,并输出序列中最小的数字. 输入描述

MISAYAONE的博客 5732

Redis 篇-初步了解 Redis 持久化、Redis 主从集群、Redis 哨兵集群、Redis 分片集群

在子进程写入磁盘过程中,主进程有可能会进行写操作,所有为了防止脏读的情况,在写数据的时候,将内存的数据进行拷贝,再来进行写操作。在 slave 加载 RDB 文件的时候,master 也会不断接收写操作的请求命令,这些命令会先保存到 repl_baklog 文件中,等待 slave 加载完成之后,master 发送 repl_baklog 中的命令到 slave 节点中,而 slave 节点接收到命令就会执行。重新启动该 Redis 服务之后,会自动从 RDB 文件中获取数据,重新将数据放到内存中。

小扳手 2589

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

汉书HE8,好用的汇编代码编写工具

汉书HE8,好用的汇编代码编写工具早期编写汇编代码所用功能强大

单机部署Redis集群

我们需要执行命令来创建集群,在Redis5.0之前创建集群比较麻烦,5.0之后集群管理命令都集成到了redis-cli中。修改redis-6.2.4/redis.conf文件,将其中的持久化模式改为默认的RDB模式,AOF保持关闭状态。要在同一台虚拟机开启3个实例,必须准备三份不同的配置文件和目录,配置文件所在目录也就是工作目录。要在同一台虚拟机开启3个实例,必须准备三份不同的配置文件和目录,配置文件所在目录也就是工作目录。这里我们搭建一个三节点形成的Sentinel集群,来监管之前的Redis主从集群。

shall_zhao的博客 2391

Outlook Express 6 (OE6) for Win7/Win8/Win10

英文版 Outlook Express6.0, 兼容Win7/Win10/WinXP,解压就可用。

【Redis】集群

哨兵模式显著提升了 Redis 系统的可用性。然而,其核心数据存储仍然依赖于单个 Master 节点及其 Slave 副本。这意味着所有数据都需要完整地存储在这组主从节点上。当数据量极其庞大,接近甚至超出 Master/Slave 节点所在服务器的物理内存容量时,系统就可能面临严重问题。虽然硬件成本持续下降,大中型互联网公司的服务器内存容量已普遍达到 TB 级别,但在当今的“大数据”时代,1TB 内存也常常显得捉襟见肘。

2301_80224556的博客 971

lwip-2.0.3

lwip是瑞典计算机科学院(SICS)的Adam Dunkels 开发的一个小型开源的TCP/IP协议栈。实现的重点是在保持TCP协议主要功能的基础上减少对RAM 的占用。

Redis集群之Redis分片集群

Redis集群搭建直接一步到位:支持海量数据以及高并发写分片集群顾名思义,将数据分开存储到Redis集群中,这样能够存储更多的数据,避免浪费资源,基础搭建如:三主三从(一拖一)、三主六从(一拖二),本次搭建采用一拖一,一拖二情况可根据文末图文介绍进行添加从节点即可。

AIGUO666666的博客 1546

Windows下搭建Redis集群

一、首先下载好Redis的Windows版本,注意:Redis只有3.0之后的版本才有集群 1、下载好后直接解压,可看到这些目录   2、在解压的目录启动redis-server.exe启动redis服务,出现下图的效果则说明redis服务启动成功   二、搭建Redis集群   首先构建集群的节点目录,注意:集群正常运作至少需要三个主节点,不过在刚开始试用集群功能时, 强...

青衫 2万+

Redis 集群

现今 Redis 在很多业务场景,使用越来越广泛。在互联网发展的今天,网站的稳定性和高可用性不言而喻。随着技术的发展,集群方案层出不穷,目前 Redis 集群的实现方法 一般有客户端分片、代理分片和服务器端分片三种解决方案。

2301_77081516的博客 1177

【Redis】redis集群模式

Redis集群,即Redis Cluster,是Redis 3.0开始引入的分布式存储方案。实际使用中集群一般由多个节点(Node)组成,Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点:只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制。集群的作用,可以归纳为两点:1、数据分区:数据分区(或称数据分片)是集群最核心的功能。集群将数据分散到多个节点,一方面突破了Redis单机内存大小的限制,存储容量大大增加;

margu_168的博客 1402

Redis集群总结

Redis自动化检测主节点是否在工作,当主节点宕机后集群自动能够替换上去Cluster由多个主从节点组组成,每个主从节点组上的数据没有交集一个Redis组有多个Slot槽位,整个Cluster由2^14个槽位,经过路由确定在某个实例上每个Master至少有一个Slave。

SS_G_SS的博客 1605

redis集群

集群,即RedisCluster,是Redis3.0开始引入的分布式存储方案。集群由多个节点(Node)组成,Redis的数据分布在这些节点中。集群中的节点分为主节点和从节点:只有主节点负贵读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制。redis集群采用master-slave的方式,即1个master节点可以包含多个slave节点,slave节点主要对master节点的数据进行备份,如果master节点挂了,可以启动salve节。

2501_91557222的博客 1442

Redis集群及Redis存储原理

也就是主机(master)工作时,安排一台备用机(slave)实时同步数据,万一主机宕机,我们可以切换到备机运行。缺点,这样的方案,slave节点没有任何实质作用,只要master不宕机它就和没有一样,没有体现价值。但是如果master宕机,实际上主备机的切换,实际上还是需要人工介入的,这还是需要时间的。如果ping请求有2个(集群的半数节点)以上的哨兵节点没有收到正常响应,会认为该节点下线。但是如果哨兵判断节点状态时发生了误判,那么就会错误将master下线,降低整体运行性能。

小星袁 1036

Redis分片集群

上一期文章。

2502_92141759的博客 1264
上一篇: Redis事务 和 主从复制
下一篇: Redis应用缓存
pythoncjavac++
博客等级 码龄5年 718粉丝 71原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

pythoncjavac++

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值