面试官 : 你能说清楚 Redis 哈希槽和一致性哈希的要点吗?

Redis一致性哈希算法和哈希槽区别 一致性哈希算法和哈希槽(Hash Slot)都是在分布式系统中用于数据分片和节点映射的技术,主要应用于像 Redis 集群这样需要将数据分散存储在多个节点的场景。一致性哈希是在哈希取余算法基础之上优化的,分布式缓存数据变动和映射问题,某个机器宕机了,分母数量改变了,自然取余数不对了。用于解决分布式缓存系统中的数据选择节点存储问题和数据选择节点读取问题以及在增删节点后减少数据缓存的消失范畴,防止雪崩的发生。 阅读详情

一 . 前言

在 Redis 集群里面主要涉及到两种 Hash 算法 :

  • 一种是一致性哈希 , 这种算法在 适用dis Cluster方案中并没有实现,主要在外部的代理模式 (Twemproxy)
  • 一种是 Slot 哈希槽算法 ,这种算法就是 Cluster 的核心算法

所以谈到这个问题的时候,不能只讲一部分。在 Redis 3.0 之前,Redis 是没有集群方案的,在这个时期实现 Redis 的 分布式 主要由客户端自行实现。 一般的实现方式就是一致性 Hash。

而 Redis 3.0 之后 ,Redis 实现了 Cluster 集群,也就采用了相对而言更简洁的 Slot 槽方式。

下面来一步步的了解其中的变化 ,以及为什么要这样做 :

第一步 :单节点到多节点集群

之前也聊过,单节点的性能是有瓶颈的。当单节点达到瓶颈后,构建集群就是最合理,最经济的用法。

这就衍生出几个问题 :

  1. 单节点的时候,直接把数据往一个节点丢就行,查询也是一个节点去处理查询
  2. 集群后,数据应该放在哪个节点? 是全部存一份还是分开存?
  3. 集群后, 查询应该查询哪个节点? 不可能全量查询吧 , 一个一个节点查,性能太差了

为了解决这些问题, Redis 提供了多种集群的构建方式 :

  • Sentinel 哨兵模式 : 主节点支持读写,从节点支持读,哨兵节点负责维护高可用 这个方案下,主节点和从节点都有全量数据,适合数据量相对少的场景 主节点负责写操作,主节点数据写入后将数据按照流程同步到从节点 当主节点异常后 ,从节点会被选举为主节点,从而完成后续的写和同步
  • Redis Cluster : 这个方案即为一致性Hash的方案,后面具体来讲
  • Twemproxy : 类似于代理模式,数据的分片和负责均衡由 Twemproxy 来实现 Twemproxy 本身不提供高可用,适用于轻量级的场景

可以看到, Redis 集群的方案很详细,Sentinel 流程里面对于上述问题的处理也很完善。但是数据量如果太大,用哨兵的方案就不够了。上十亿的数据每个节点复制一份,性能,容量都扛不住。

这个时候,就要考虑使用 Cluster 方案,那么一致性Hash在 Cluster 模式里面又起到什么作用呢?

第二阶段 : 一致性哈希的种种变化

那么我们有了数据,也有了多个集群节点,怎么样让数据放在对应的节点上呢?

  • 要求一 : 数据量大,数据只能存在一个节点上
  • 要求二 : 要保证数据相对均匀分布到所有的节点上
  • 要求三 : 不能影响到查询的效率,所以查询应该只用查询一个集群节点
  • 要求四 : 要实现高可用,节点宕机后能快速恢复,支持缩容扩容

2.1 首先数据的分布方案

针对于要求一和要求二 , 数据只能在一个节点,且所有数据应该均匀的分布在所有的节点上。

对于均匀而言 ,一般我们的方式就是 Hash + 取模 ,但是这样会有一些问题。

通过取模的方式我们虽然可以让数据均匀分布 ,但是一旦扩展或者缩容,就会导致全量数据的重新迁移和计算,这显然是不可行的。

于是就衍生出了一个方案 :一致性哈希。具体的方案如下 :

  • S1 : 首先构建一个 Hash 环,例如一个Hash算法的范围是 0到2^32-1 , 那么就会形成一个整数环
  • S2 : 对 Redis 数据节点进行Hash , 得到的值意味着它映射到了环上的一个点
  • S3 : 插入时 ,当一个数据来的时候 ,对 Key 进行 Hash 函数计算,映射到环上的一个点
  • S4 : 对该点进行顺时针查找,找到第一个 Redis子节点,就是该key应该操作的 Redis子节点
  • S5 : 查询时同理 , 先 Hash 再进行节点的查询

2.2 其次保证数据的均衡

上面的问题很明显,明显节点C和节点A之间空余空间更大,就会导致数据不均衡 ,大部分数据被指向了某一个节点。

为此 一致性Hash 做了更多的优化 :虚拟节点。 当节点较少的时候,为每个物理节点创建多个虚拟节点,使所有的节点均匀的分布在 Hash 环上 , 从而使数据相对均衡。

  • S1 : 为每个物理节点生成多个虚拟节点,并且让所有的节点都均匀的分布在 Hash 环上面
  • S2 : 当数据操作请求进来时 , 如果指向了虚拟节点,就映射到实际的物理节点中

通过这样的方式,就可以保证数据的相对均衡。 当然,这种均衡还是相对的。

2.3 数据的查询和节点的扩容

数据查询的流程和数据插入的流程是一样的,当请求到来的时候,基于请求的 Key 计算出对应的数据节点,再到该节点中进行数据查询。

而节点变动就比较麻烦了,当一个节点需要下线的时候,需要将该节点里面的所有数据都会根据 Hash 环的轮动情况 ,迁移当前 Hash 范围内的数据到 Hash环 中对应的下一个节点中。

然后后续的查询都会走到下一个节点中进行查询

2.4 总结一下一致性哈希

上面说了,这种方案多见于外部代理组件,例如 Twitter 发布的 Twemproxy ,例如 Predis-Proxy。

一致性哈希能实现数据的定位,也能实现相对均匀的数据,但是它还是有一些问题 。

  • 相对而言复杂度更高,节点发生变化的时候,需要迁移整个节点的数据。
  • 数据只能相对均衡 ,无法对优势节点进行特殊定制,数据的分布完全基于 Hash 算法来实现 这里如果把虚拟节点搞得更多,其实也能减少这种问题
  • 一致性Hash抗风险能力相对弱一些,当节点挂了的时候,会导致数据出现大面积不均衡,从而导致单个节点压力高 其实 Hash 槽也有,只不过一致性hash的特性会导致流量直接到下一个节点

这个时候就需要我们了解一下 Redis 的槽概念了。

第三阶段 : Redis 集群分片的方案

3.1 Slot Partitioning 槽分区算法

Redis Cluster 定义了 16384 个槽位,将这些槽位分发给所有的物理节点

槽位的计算

  • 通常 Cluster 默认基于 Key 进行 crc16 算法进行 Hash 计算,然后基于 16384 进行取模
  • 但是 特殊情况下 ,Cluster 可以指定某个Key挂载到特定的槽位上(通过 Tag 实现 , Tag 映射槽位)

指令的请求

与一致性Hash一样的是 ,Cluster 的槽位选择还是通过客户端来实现的。

当 Cluster 连接集群的时候,其本身会得到一份集群的槽位信息,从而直接定位到目标节点。

不过,每个集群节点同样会保存所有的槽位信息,目的在于后续槽位变动 或者 客户端向一个错误的节点发送指令时 , 节点会基于这些信息将指令发送到正确的节点。

3.2 槽数据的迁移

当槽位进行迁移的时候,当前槽处于过渡状态。此时槽即存在于原节点A(migrating),又存在于新节点B (importing)。此时 Cluster 客户端中计算出来数据还在 A节点中(错误结果)。

  • 当数据迁移时 : S1 : 一次性获取源节点槽位的所有 key 列表 , 逐个对 Key 进行迁移 S2 : 原节点A 此时充当客户端角色,指向 Dump 命令进行数据序列化 S3 : 原节点A 向 目标节点B 发起 restore 指令,携带序列化数据进行访问 S4 : 目标节点B 接收到数据,保存到目标节点 ,并且返回成功 S5 : 原节点A 把当前Key 在自己的节点中进行删除
  • 当此时请求数据时 : S1 : 客户端首先去 A节点(错误节点) 请求数据 ,如果数据还在A节点中,直接返回 S2 : 如果数据已经迁移 ,A节点返回 ASK 指令,且告知 B节点的地址 S3 : 客户端向B节点发起 ASK 访问 , 此时仅为了避免死循环(因为可能迁移一半,槽位未创建好) S4 : 执行之前的操作

3.3 槽思想的扩展

Redis Cluster 是 Redis 官方的方案,这其实也算是一种分片的思路。 而在外部工具里面 ,同样有类似的方案。

例如国产组件 Codis , 其本质上是一个代理中间件,和 Twemproxy 有一些类似。

这个组件会将所有的 key 默认划分为 1024 个槽位(slot) 。 不同于客户端自己的处理,槽位的计算是在 Codis 中进行的 ,访问 Codis 和访问单节点Redis 没有区别。

3.4 后续待扩展的细节

  • 槽位的计算方式
  • 为什么定义这些数量的槽位
  • 不同节点之间如何同步信息
  • 。。。。。
  • 时间有限,东西不少,后续迭代

总结

时间有限 ,Redis 槽位还有一些细节点这一篇没有说 ,后面会来探讨一下为什么槽位要那么定义,以及具体传输的细节。

大厂面试官问我:Redis为什么使用哈希槽的方式进行数据分片?为什么不适用一致性哈希的方式?【后端八股文十三:Redis 集群哈希八股文合集(1)】 为什么使用一致性哈希? 传统哈希算法(如取模)在节点变更时,会导致大量 key 的重新分布,引发大量的数据迁移和客户端路由更新,容易造成雪崩效应。 而一致性哈希算法通过将节点和 key 都映射到一个虚拟的哈希环上,在节点变更时只需要调整少量 key 的映射关系,减少了数据迁移和客户端路由的开销。 阅读详情

相关推荐

为什么 Redis Cluster 要设计 16384 个槽?答案比你想的聪明

在准备 Java 社招面试时,Redis 哈希槽几乎是高频必考点。很多同学知道有 16384 个槽,却说不明白它为什么重要、怎么工作、扩容时又怎么迁移。今天我用一个轻松的故事,把哈希槽讲到你心里,一次彻底读懂 Redis Cluster 的底层逻辑。

孤芳不自赏 824

一致性哈希和哈希槽

1、集群分片模式 如果 redis 只用复制功能做主从,那么当数据量巨大的情况下,单机情况下可能已经承受不下一份数据,更不用说是主从都要各自保存一份完整的数据。在这种情况下,数据分片是一个非常好的解决办法。 redis 的 custer 正是用于解决该问题。它主要提供两个功能: 1、自动对数据分片,落到各个节点上 2、即使集群部分节点失效或者连接不上,依然可以继续处理命令 对于第二点,它的功能有点类似于 sentienl 的故障转移,在这里不细说。下面详细了解下 redis 的槽位分片原理,...

u014659211的专栏 1108

MATLAB联合Fluent优化仿真

matlab与fluent交互

keleke_的博客 4732

redis一致性hash和hash槽

redis一致性hash和hash槽

weixin_43001336的博客 4221

RT-DETR训练前的准备,将数据集划分成训练集、测试集验证集(附完整脚本及使用说明)

在计算机视觉领域,当我们着手训练一个模型时,。其中,将数据集划分为和更是一项基础性且关键的操作。这篇博客分析了这一划分背后的原因、其重要意义以及如何通过代码实现,帮助大家更好地理解和运用这一技巧,。

Limiiiing的博客 913

一文讲透 SAP VDM 命名里的前缀与后缀:看懂 I_、C_、A_,把 CDS 视图栈搭得又稳又好用

SAP S/4HANA 的 CDS 视图命名规范解析 摘要:本文详细解析 SAP S/4HANA 中 CDS 视图的 VDM 命名规范。通过前缀(如 I_、C_、R_)区分视图层级,后缀标记附加角色,结合 @VDM.viewType 注解形成完整语义体系。I_作为稳定接口层,C_面向特定场景裁剪,R_限定应用域内复用,A_提供远程 API 接口。命名规范使团队能快速识别视图用途、依赖关系和扩展边界,确保模型长期可维护性。文章结合制造业物料主数据、Fiori 应用等实际案例,说明如何通过规范命名构建清晰的视图

2007 年 ~ 2025 年,深耕 SAP 技术 18 年 220

一致性哈希和哈希槽(redis)

1、集群分片模式 如果 redis 只用复制功能做主从,那么当数据量巨大的情况下,单机情况下可能已经承受不下一份数据,更不用说是主从都要各自保存一份完整的数据。在这种情况下,数据分片是一个非常好的解决办法。 redis 的 custer 正是用于解决该问题。它主要提供两个功能: 1、自动对数据分片,落到各个节点上 2、即使集群部分节点失效或者连接不上,依然可以继续处理命令 对于第二点,它的功能有点类似于 sentienl 的故障转移,在这里不细说。下面详细了解下 redis 的槽位分片原理,在此之前,先了解

qq_41361506的博客 1708

【系统分析师】2025年下半年真题:案例分析-答案及详解(回忆版)

Redis相比Memcached在电商高并发场景下具有显著优势:支持持久化(RDB/AOF)、丰富数据结构(如有序集合实现排行榜)、原生支持集群和哨兵模式(高可用性)。布隆过滤器通过位数组和哈希函数预先存储所有合法订单ID,当查询请求到达时快速拦截无效ID(如伪造ID),避免其穿透缓存直接冲击数据库,从而预防缓存击穿问题。

数据知道的博客 6001

一致性hash算法和hash槽算法

一致性Hash算法,主要是考虑到分布式系统每个节点都有可能失效,并且新的节点很可能动态的增加进来的情况。如何保证当系统的节点数目发生变化的时候(新增/删减),我们的系统仍然能够对外提供良好的服务(不用停掉所有redis服务),这是值得考虑的!

syf231的博客 2532

当C#遇见声音魔法:从麦克风到文字的0.1秒奇幻漂流

为什么选300Hz?因为人声基频通常在85-255Hz,但清脆的“啊”可能到2kHz,所以300Hz是安全区!(参考知识库[1])

墨夶的博客 366

深入探究ASP.NET Core读取Request.Body的正确方式

前言# 相信大家在使用ASP.NET Core进行开发的时候,肯定会涉及到读取Request.Body的场景,毕竟我们大部分的POST请求都是将数据存放到Http的Body当中。因为笔者日常开发所使用的主要也是ASP.NET Core所以笔者也遇到这这种场景,关于本篇文章所套路的内容,来自于在开发过程中我遇到的关于Request.Body的读取问题。在之前的使用的时候,基本上都是借助搜索引擎搜索的答案,并没有太关注这个,发现自己理解的和正确的使用之间存在很大的误区。故有感而发,便写下此文,以作记录。学无止境

萌兔兔MMQ!! 778

得物面试:Redis用哈希槽,而不是一致性哈希,为什么?

既然一致性hash那么完美,两大优点:1.既很少的数据迁移,2.又很少数据倾斜。Redis为什么使用哈希槽而不用一致性哈希呢?这个和redis 集群的架构特点有关系, redis 集群的架构特点,主要有两点:1.去中心化,2.方便伸缩 (自动伸缩、手动伸缩都可以)

架构师尼恩 4631

【DevOps】rancher集成ldap,实现统一账号登录

登录到rancher控制台,选择【安全】-【认证】 选择【OpenLDAP】 其中【搜索起点】需要去ldap界面查配置完成

CN_Eden 1096

Redis哈希槽和一致性哈希

我们想提升系统的容量、性能和可靠性,就会将数据分散到多个节点来存储或备份,也就是集群部署。那么,一个存储数据应该到哪个或哪些节点上来获得,应该是确定的。如果通过简单的取模算法将数据请求分散到了不同的服务器节点上,会有一个很致命的问题,如果节点数量发生了变化,也就是在对系统做扩容或者缩容时,必须迁移改变了映射关系的数据,否则会出现查询不到数据的问题。

Sun_study的博客 1477

温度PID控制PLC程序

温度PID稳定控制程序,适用于欧姆龙PLC,对其他PLC也具有很大参考价值

IDEA的使用指南

IDEA基于java的使用手册,可以最快速的上手,在使用中不断的丰富自己的使用技巧.

分布式缓存中的一致性哈希算法,这篇文章给讲透了!

点击上方石杉的架构笔记,右上角选择“设为星标”每日早8点半,技术文章准时送上公众号后台回复“学习”,获取作者独家秘制精品资料往期文章BAT 面试官是如何360°无死角考察...

石杉的架构笔记 1633

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

面试时遇到一致性哈希算法这样回答会让面试官眼前一亮

面试中一致性哈希算法被问到的概率非常大,本文将从如下三个方面探探一致性哈希算法,让大家轻松应对面试,并且说出宇宙不同的答案。 一致性哈希算法经典实用场景 一致性哈希算法通常不适合用于服务类负载均衡 面试应对之策 1、一致性哈希算法经典使用场景 在数据库存储领域如果单表数据量很大,通常会采用分库分表,同样在缓存领域同样需要分库,下面以一个非常常见的Redis分库架构为例进行阐述。 将上述3个Redis节点称之为分片,每一个节点存储部分数据,期间需要使用负载均衡算法,将数据尽量分摊到各个节点,充分发挥分布

中间件兴趣圈 2727

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Redis基础面试题:Redis中的哈希槽(Hash Slot)与数据分片机制在分布式环境中的深度解析

在一个技术面试的场景中,面试官和应聘者Victor围绕Redis的分布式数据分片机制展开了深入的讨论。面试官希望通过一系列问题,了解Victor对**哈希槽(Hash Slot)**和数据分片机制的理解深度。Victor则以扎实的技术功底和系统性思维,对每个问题进行了详尽且层次分明的回答。在这场面试中,Victor通过深入的技术分析和多角度的回答,展示了对Redis分片机制和哈希槽的深刻理解。面试官对Victor的专业性和系统性思维给予了高度评价。

qq_61302385的博客 945

一致性哈希算法

看了两篇文章,最终基本把一致性Hash搞懂了,这边搬过来主要是为了以后翻阅。原文地址:1、一致性Hash原理与实现2、面试官问:一致性哈希算法是什么?怎么判定哈希算法的好坏? 前言 互联网公司中,绝大部分都没有马爸爸系列的公司那样财大气粗,他们即没有强劲的服务器、也没有钱去购买昂贵的海量数据库。那他们是怎么应对大数据量高并发的业务场景的呢? 这个和当前的开源技术、海量数据架构都有着不可分割的关系。比如通过mysql、nginx等开源软件,通过架构和低成本的服务器搭建千万级别的用户访问系统。 怎么样搭建一.

时光、疏离了记忆づ童话的博客 547

阿里面试官:Redis分片集群都不懂?还来面试?

哭了,差点就被吊打

3y 1381

互联网公司面试必问的Redis题目

Redis 的复制(replication)功能允许用户根据一个 Redis 服务器来创建任意多个该服务器的复制品,其中被复制的服务器为主服务器(master),而通过复制创建出来的服务器复制品则为从服务器(slave)。只要主从服务器之间的网络连接正常,主从服务器两者会具有相同的数据,主服务器就会一直将发生在自己身上的数据更新同步 给从服务器,从而一直保证主从服务器的数据相同。一般的缓存系统,都是按照key去缓存查询,如果不存在对应的value,就应该去后端系统查找(比如DB)。...

TimeFriends 1373

一致性哈希的具体实现方式是什么?

在实际应用中,一致性哈希算法可以用于实现负载均衡、缓存数据分区等,例如在Memcached和Redis等缓存系统中的路由算法。此外,它还可以用于分布式关系数据库的分库分表、RPC框架中的服务提供者选择,以及LVS负载均衡调度器等场景。然而,它也存在一些缺点,如哈希函数的选择和实现的复杂性,以及在某些情况下可能出现的性能开销。不仅学会如何编程,还将学会如何将AI技术应用到实际问题中,为您的职业生涯增添一笔宝贵的财富。

借雨醉东风的博客 970

负载均衡:一致性哈希解决了哪些问题?

在业务开发中,缓存服务和其他数据服务一样,需要满足高可用性,而高可用最常用的手段就是集群扩展。

欢迎朋友,我是一名十多年开发经验的新手,希望多多指教。 1411

c++ 哈希_图解一致性哈希算法,分布式缓存就是这么简单

本文转载自微信公众号,孤独烟本文故事绝对真实,如有雷同,绝对不是巧合!话说前几天有一次,某大厂的二面。然后呢,烟哥那天刚好有事,所以去不了。于是就约了一场视频面试了!于是呢,烟哥提前十分钟在公司里头找了一个厕所的坑位,然后进去随手一锁门….(以下省略10000字)…唉…我竟然…我竟然…我竟然又带薪上厕所了,而且上了一小时!我有罪!额,是这样的,大厂的厕所是有雅间的。所以环境还马马虎虎,鼻子还是正常...

weixin_39639514的博客 160
上一篇: 面试官:详细介绍一下Spring的循环依赖?
下一篇: 神器 SpringDoc 横空出世!最适合 SpringBoot 的API文档工具来了!
加班不秃顶
博客等级 码龄7年 1822粉丝 599原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值