架构师之路-redis集群解析

软考架构师备考避坑指南:2年实战整理的Redis与设计模式高频考点解析 本文深度解析软考架构师备考中Redis集群与设计模式的高频考点,提供实战经验与避坑指南。涵盖Redis集群方案对比、设计模式实战模板及真题破解技巧,帮助考生高效备考。特别针对Redis与设计模式的组合考点,给出详细应对策略和性能优化方案。 阅读详情

引子

架构师之路-redis集群解析

上篇《架构师之路-https底层原理》里我提到了上面的整体视图,文章也介绍了想要真正能在工作中及时正确解决问题的基本功:原理理解透彻。今天以redis集群解析为例介绍一个及时敏锐地发现问题的基本功:深入分析。

我认为达到深入分析有三个步骤:

第一步,深入理解

第二步,学以致用

第三步,千人千问

第一步redis集群各种原理介绍的人也很多;第二步很多人实际项目中大概也对redis集群不陌生;所以本文主要讲第三步:千人千问。

提出问题

"redis集群使用时有什么注意事项?"这是之前有段时间我面试喜欢问的一个问题。我的一个观点是作为redis集群的使用方而不是开发者首先要做的是用好。通过这个问题确定候选人用好了,再去挖掘他是通过了解了怎么用好的。所以我通常不会一开始就问一些中间件的原理,而是先从使用者的角度提出问题。

下面列举了6条代表性的回答:

1>防止集中失效

2>单线程执行,注意不要卡住

3>注意客户端和服务端的版本匹配

4>分片要保持流量均匀

5>注意超时时间配置

6>当内存缓存用,推荐删除代替更新

每条问题前面加上个为什么,就引出了6条新的问题。

解决问题

Q1:为什么要防止缓存集中失效?

A:缓存穿透、缓存集中失效和缓存雪崩并称为缓存世界的三大问题。先来总结理解一下这三个概念。这三个概念都是建立在缓存的一大作用就是对后端存储,比如mysql的保护。缓存没有保护住mysql,一个或一些到mysql了,那就是穿透;一个时间点缓存数据没有了,打到mysql了就是集中失效;缓存完全丧失了保护mysql的能力,请求全打到mysql了,就是雪崩。

所以防止缓存集中失效是对后端存储的保护。

Q2:为什么单线程执行,注意不要卡住?

A:卡住换个专业点的词就是阻塞嘛。什么叫阻塞呢,一辆小轿车A在单行道跑,遇到前面一辆车B停了,那A就被阻塞了。如果A和B都在高速单行道上跑,A开了160迈、B开了140迈。就算高速的允许最高速度是120迈(咱就当路过的是没有摄像头的路段,这俩车肆无忌惮),那A是不是还是被B给阻塞了呢?所以卡住造成的最直接影响就是快得快不起来,因为单线程不能绕行嘛。

有人说不是可以多开几个redis嘛。是滴,但是客户端分请求使用的是crc16,根本不会先探测哪个服务端比较空闲呀。所以后面来的总会被阻塞。

注意不要卡住还有个大家经常听到的名字:“避免大key问题”。其实我刚听到这个名字的时候是觉得很奇怪的。因为避免大key实际上是要避免key所对应的value不要太大。我之前一直觉得这个名字取得不对。那应该叫“避免大value问题”。后来想想这确实是正宗的中国话。比如张三的媳妇,人家都怎样叫呢?一般都是张三媳妇、张三家的。因为他家主要是张三出来抛头露面。那redis取值也一样,一般是先知道key,从key取value。用这个key取出来的数据大,就是大key问题啦。

Q3:如果不注意客户端和服务端版本匹配会引发什么问题?

A:先来思考客户端做了什么事情。我理解它就做了两件事:第一是使用RESP(Redis自定义的序列化协议)传输客户端命令并返回结果。第二是为了做第一件事,因为Redis集群是直连服务端模式,所以计算命令要落在哪个节点、哪个哈希槽上也是客户端来做的,我就称为选节点吧。

其实要回答客户端和服务端不匹配会引发什么问题,正规的方法应该是查看客户端版本升级都做过什么更新。

一般升级会做的是客户端依赖的jar包变了。这个可能会引起程序启动错误,但是这个往往启动成功了就不会再有问题,和服务端版本没有直接关系。

十年前还在用memcache的时候,发生过一次升级客户端版本,因为算法发生了变化,所以导致缓存全部不命中的问题。Redis最近的算法一直是crc16。如果不存在分布式算法不兼容问题的话,下一个要考虑的是大迭代是Redis3.0版本,支持了集群,集群模式是必须要匹配的。

Q4:为什么分片要保持流量均匀?

A:要提分片先来回忆一下redis集群的发展史,从单机版到主从版,后来有了大家可能很耳熟的哨兵模式。哨兵模式就是给主从增加一个监控,发现主节点挂了自动把从节点升级为主节点,有了故障自动迁移的功能。但是直到哨兵时代都只有一个主节点,也就是处理写请求的节点,不能称之为真正的集群。这也是很无奈的事情,一旦多个节点写一份数据,就涉及到数据一致性的问题。

一个蜂巢只能有一个蜂后,多出来一个,蜜蜂们就不会正常提供采蜜服务了,都打架去了。但是分成两个蜂巢呢?秩序就会恢复。所以现在的集群基本都是分片的原理。之前主从和哨兵的经验不能废弃,加上分片。redis集群就是将一个完整服务数据分成几份,每份都带着从节点,故障时可自动转移的一个整体。之前在《Redis集群搭建采坑总结》里讲过,1个节点的集群会有问题,最少需要3主3从也就是6个redis进程。3个主方便在1个挂掉之后重新选主。

梳理了这个之后,分片保持流量均匀这件事也很容易了。就是Q2的问题,均匀更不容易阻塞嘛。

Q5:为什么要注意超时时间配置?

A:提到redis的key的过期时间,首先想到的是redis的术语中,带过期时间的key又叫volatile key,就是不稳定key。怎么不稳定呢?就相当key这个对象有value和过期时间2个属性。过期时间这个属性1s改变一次(redis领域内时间都是以秒为单位),一直在变,当然不稳定。

如果把过期时间理解为key的一个属性,那也很好理解:对其进行del、set命令时过期时间也会删除;rename会把过期时间传给新的key;incr、lpush、hset等命令改变的是key的存储容器,没有改变key这个对象本身所以不会影响过期时间。

值得注意的是persist命令就是持久化保存的意思,将不稳定变成稳定,过期时间也自动删除了。

Redis在服务端有过期策略,但是对客户端是不感知的。客户端访问过期的就是一个表现,访问不到了。实际上服务端是有两种策略配合使用,一个是惰性删除,就是访问的时候发现过期了,就直接删除了;另一个策略会定期去删除,这个是为了防止一个过期的key总是不被访问到,还占着资源不释放。

Q6:为什么当内存缓存用,推荐删除代替更新?

A:一般大家出于数据一致性的考虑,会选择删除代替更新。这都是基于更新一定要更新数据库的固有思路。并发场景下,A的值1先被更新到数据库再更新缓存时,又来了一个更新请求把A的值更新为2。如果这时候执行更新为1的服务器性能不好或者网络传输速度比更新为2的慢,导致2在数据库是最新值,而设置为1的后更新了缓存。缓存就和数据库不一致了。

但只是记住删除代替更新不太够。如果先删除缓存再更新数据库,其他请求可能会把数据库老的值再加载到缓存中。记得之前有人介绍缓存还有三大种模式:Cache-Aside、
Read-Through/Write-Through、Write-Behind。

Cache-Aside就是先更新数据库再删除缓存数据,可以避免上面提到的持续脏读的问题,顶多就是更新数据库的那一小段时间有更新延迟可见。我们给Cache-Aside起个中文名,叫经典模式。


Read-Through/Write-Through就是数据以缓存为准,数据库的操作是缓存发起的。Read-Through是在读数据时发现缓存过期了,那缓存自己去数据库加载新的数据,读数据还是读取缓存值。Write-Through写数据时调用方只负责写缓存,缓存自己去同步更新数据库。Read-Through/Write-Through一般配合使用。

Write-Behind和Write-Through的区别是虽然都是是写数据时调用方只负责写缓存,但是Write-Behind缓存自己去异步更新数据库。

因为
Read-Through/Write-Through、Write-Behind都是以缓存为准,缓存不可靠,所以还是推荐经典模式。

后记

一些朋友问我一边上班一边写文章哪有那么多时间呀。细心的朋友可能会发现我的文章一般是周末或者周一,再不就是节假日或者哪天失眠了发出来。因为内容都是非上班时间写的,但是每次下笔腹稿都是提前打好的。个人意见哈,作为架构师,很多人都会形成随时随地为工作思考和总结的习惯。所以很多人看着下班很早,人家回家路上,晒太阳的时候……未必没在想工作的事情。

架构师三件占时间的事:会议、评审和演讲。对应有三大难:提出有水平的问题、做出有水平的总结和建议、做出有水平的回答。所以每天有很多的腹稿要打。腹稿按照一定的框架结构整理就是文章。

如果大家对架构师的三大难有兴趣,我可以举一些具体的示例和解决方法。大家投票吧,如果再看超过10个,我就写这个。

 

autoware 激光-相机联合标定 autoware进行激光-相机联合标定 ~~~ 刚开始进行激光-相机联合标定的时候,出现了不少问题,在此记录一下整体标定流程,以防忘记。在此,特别感谢佳明师弟,在录制数据集时提供的帮助。 ~~~ 0.系统配置: Ubuntu18.04系统 ROS Melodic opencv 3.2.0 vlp-16 一.安装autoware 这部分网上教程挺多的,但我在编译的过程中仍存在不少bug,唉~_~。 二.安装calibration_camera_lidar,从a... 阅读详情

相关推荐

南京邮电大学电工电子基础B实验六(组合逻辑电路)

南京邮电大学电工电子基础B实验五(组合逻辑电路);电工电子;南京邮电大学;计算机学院;实验报告;电路图;

亦是远方的小地方 1万+

Redis源码解析:Redis Cluster

介绍 ASK和MOVED的区别 MOVED代表槽的负责权已经从一个节点转移到另一个节点,客户端收到槽i的MOVED错误后后续每次遇到槽i的命令请求时,都可以直接将命令发送至MOVED指向的节点 ASK只是2个节点在迁移槽的过程中使用的一种临时错误,客户端收到槽i的ASK错误后只会在下一次请求中将命令发往ASK指向的节点,对后续不会产生任何影响 参考博客 ...

小识的博客 787

RL调参侠之BipedalWalker BipedalWalkerHardcore SAC

前几天用PPO训练了个很一般的agent: RL调参侠之BipedalWalker PPO 我看SpinningUp上面说PPO和SAC是两个领域里各自的State_of_the_art的方法,所以就打算跑SAC试试看,之前因为Open AI Five的原因,一直感觉PPO很牛掰,实际上现在很多自动驾驶的算法也是用PPO在跑,毕竟有一个“必定能够提升期望”的理论保证在这里,我理解这对做项目很大的诱惑。 不过我跑出来的结果明显是SAC更好。 调参侠时间 策略熵的权重alpha用的0.2,我一开始没有看SAC的

weixin_48370148的博客 2103

Redis高可用知多少之DNS篇

1. 背景例如,存在一套redis主从(主从节点在不同的主机上),应用程序通过主库的ip进行读写操作。但是,主库一旦出现故障,虽然有从库,且从库提升为主库,但是应用程序如果想使用从库则...

gjc592的博客 494

大连海事大学课设题目/基于LM331的频率电压转换器

部分基于LM331的频压转换的实物连接问题

2301_76649592的博客 3228

《21天学通C++》阶段性成果测试题——hstring(手写string类)

总体考察了类的使用,缓冲区考察了指针和数组的使用、增删改查、考察编码思维、考察了类的重载。1.初始化子字符串的起始位置为-1,表示未找到,若buffer或findHstring为空,则返回-1。右边的字符串不为空,则分别获取母串和子串的长度(用循环),然后创建一个固定大小的数组。3.然后循环遍历寻找子串在母串中的起始位置,循环时可以通过两个长度相减,避免循环越界。2.如都不为空,则分别获取双方的字符串长度(用循环),然后。右边的字符串为空,则输出原来的字符串。是否为空,有一方为空则返回另一方。

立志成为炼丹师? 1265

redis 集群 (cluster) 原理

一,什么情况下使用 redis cluster架构? 当我们使用redis的主从架构+哨兵时,只能保障redis的高可用和水平扩充读并发上限,并不能水平扩展redis的存储容量。每一个(主节点和从节点)保存的信息量是一样的。 如果我系统中要缓存的数据量不多,几个G的话,建议使用redis主从+哨兵架构。 如果系统中要缓存海量数据,则使用redis cluster架构。 ...

补 1084

YOLOv8进阶实战:融合SAHI超推理算法,在无人机应用中精准捕捉视频与图片中的微小目标

YOLOv8改进是一种先进的目标检测算法,通过引入辅助超推理算法SAHI推理,使得小目标无法逃避检测。SAHI推理算法结合视频和图片的特点,利用先进的超推理技术,提高了目标检测的准确性和鲁棒性。不仅如此,YOLOv8改进还支持对视频和图片进行实时的目标检测,将检测结果直观地呈现给用户。这一技术的应用范围广泛,可以用于安防领域,提升监控设备的性能和效率;也可以用于无人驾驶领域,实现精准的目标识别和跟踪。总之,YOLOv8改进是一项具有突破性的技术,为目标检测领域带来了重大的进展。

weixin_51988935的博客 809

Redis集群模式源码分析

目录 1 主从复制模式 2 Sentinel(哨兵)模式 3 Cluster模式 4.参考文档 1 主从复制模式 主库负责读写操作,从库负责数据同步,接受来自主库的同步命令。通过分析Redis的客户端源码(redis.clients.jedis.JedisClusterConnectionHandler#initializeSlotsCache -> redis.clients.jedis.JedisClusterInfoCache#discoverClusterNodesAndSlots

枫 826

【考试大纲】中级多媒体应用设计师考试大纲

中级多媒体应用设计师考试大纲

邓邓子的博客 384

【以太网硬件九】1000base-X是什么?

简要描述1000base-X物理层规范

highman110的博客 1万+

Redis部署模式全解析:从单机到集群,架构师必知的高可用与扩展方案

在分布式系统架构中,数据存储的高可用性和可扩展性是核心挑战。Redis作为高性能键值数据库,其部署模式的选择直接决定了系统的健壮性与扩展能力。理解数据持久化、主从复制、故障转移等基础原理,是构建可靠缓存与存储层的关键。这些技术通过不同的组合,实现了从数据备份、读写分离到自动容灾的演进,最终支撑起海量数据与高并发场景。本文聚焦Redis单机、主从、哨兵、集群四种主流部署模式,深入剖析其同步机制与高可用设计,并结合内存瓶颈、数据分片等热词,为不同业务场景下的技术选型提供实践指南。

weixin_29210727的博客 327

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

横空出世!京东技术架构师狂推的 Redis 笔记,实战和原理两开花

Redis 是互联网技术领域使用最为广泛的存储中间件,它是「emotectionaryervice」的首字母缩写,也就是「远程字典服务」。Redis 以其超高的性能、完美的文档、简洁易懂的源码和丰富的客户端库支持在开源中间件领域广受好评。国内外很多大型互联网公司都在使用 Redis,比如 Twitter、YouPorn、暴雪娱乐、Github、StackOverflow、腾讯、阿里、京东、华为、新浪微博等等,很多中小型公司也都有应用。

wdj_yyds的博客 119

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

pscad IEEE标准系统搭建说明

pscad IEEE标准系统搭建说明,包含典型的IEEE 9节点、14节点、30节点、39节点和118节点系统。内含标准测试系统的原始数据和潮流结果。

讲解 Redis 的一篇深度好文!

转载自Java程序员社区微信公众号 作者:生活费 原文:https://www.cnblogs.com/276815076/p/7245333.html 目录 概述 Redis的数据结构和常用命令 数据持久化 内存管理与数据淘汰机制 Pipelining 事务与Scripting Redis性能调优 主从复制与集群分片 Redis Java客户端的选择 本文将从Redis的基本特性入手,通过讲述Red...

qq_35414397的博客 204

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

Redis面试精讲 Day 28:Redis云原生部署与Kubernetes集成

云原生(Cloud Native)是一种构建和运行可扩展应用的方法,强调容器化、微服务、动态编排、持续交付和自动化运维。Redis作为有状态服务(Stateful Service),其云原生部署需解决数据持久化、网络标识、节点发现、故障恢复等挑战。核心原理:StatefulSet、Headless Service、PVC、ConfigMap协同工作实践部署:YAML配置、集群初始化、持久化保障面试高频题:StatefulSet必要性、自动初始化、数据持久化生产案例:电商缓存、Session共享。

在未来等你的专栏 1073

JAVA资深架构师成长路线->高效存储让项目性能飞起>Redis

文章目录JAVA资深架构师成长路线大纲RedisLinux下安装Redis及配置String、List、Hash、Set、Zset类型使用场景时间轴、队列应用场景Lua脚本Redis慢操作优化Redis哨兵机制及底层机制Redis高可用集群动态扩容、缩减集群节点Redis面试锦囊 JAVA资深架构师成长路线大纲 个人认为想要成为架构师就必须搭建自己的知识体系,形成系统化,结构化。 于是借鉴一些大...

weixin_42213903的博客 224

redis

本文将从Redis的基本特性入手,通过讲述Redis的数据结构和主要命令对Redis的基本能力进行直观介绍。之后概览Redis提供的高级能力,并在部署、维护、性能调优等多个方面进行更深入的介绍和指导。 本文适合使用Redis的普通开发人员,以及对Redis进行选型、架构设计和性能调优的架构设计人员。 目录 概述 Redis的数据结构和相关常用命令 ...

weixin_30273931的博客 110

Redis基础、高级特性与性能调优

转自:https://www.jianshu.com/p/2f14bc570563?from=jiantop.com Redis基础、高级特性与性能调优 本文将从Redis的基本特性入手,通过讲述Redis的数据结构和主要命令对Redis的基本能力进行直观介绍。之后概览Redis提供的高级能力,并在部署、维护、性能调优等多个方面进行更深入的介绍和指导。 本文适合使用Redi...

ankan7400的博客 148

入门到精通,理论到实战!这份Redis宝典不愧为“史诗巨作”

前言 Redis如今已经成为Web开发社区中最火热的内存数据库之一,而它的诞生距现在不过才4年。随着Web 2.0的蓬勃发展,网站数据快速增长,对高性能读写的需求也越来越多,再加上半结构化的数据比重逐渐变大,人们对早已被铺天盖地地运用着的关系数据库能否适应现今的存储需求产生了疑问。而Redis的迅猛发展,为这个领域注入了全新的思维。 Redis凭借其全面的功能得到越来越多的公司的青睐,从初创企业到新浪微博这样拥有着几百台Redis服务器的大公司,都能看到Redis的身影。Redis也是一个名副其实的多面

m0_50180963的博客 319

横空出世 培训机构不想让你找到的Redis笔记,实战和原理两开花

Redis 是互联网技术领域使用最为广泛的存储中间件,它是「emotectionaryervice」的首字母缩写,也就是「远程字典服务」。Redis 以其超高的性能、完美的文档、简洁易懂的源码和丰富的客户端库支持在开源中间件领域广受好评。国内外很多大型互联网公司都在使用 Redis,比如 Twitter、YouPorn、暴雪娱乐、Github、StackOverflow、腾讯、阿里、京东、华为、新浪微博等等,很多中小型公司也都有应用。

jjc4261的博客 101

由浅入深解读Redis高级能力及性能调优

摘要 本文将从Redis的基本特性入手,通过讲述Redis的数据结构和主要命令对Redis的基本能力进行直观介绍。之后概览Redis提供的高级能力,并在部署、维护、性能调优等多个方面进行更深入的介绍和指导。 适合人群:使用Redis的普通开发人员,以及对Redis进行选型、架构设计和性能调优的架构设计人员。 目录 概述 Redis的数据...

weixin_30724853的博客 182

Redis 14 问,你扛得住吗?

不管你是从事 Python、Java、Go 语言,还是 PHP、Ruby 等等...... Redis 都是你应该掌握的中间件之一。Redis 是一个开源的底层使用 C 语言编写的 Key...

实验楼 190

Redis 基础、高级特性与性能调优

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_34004750的博客 113

redis面试点汇总

redis使用总结 本文的面试题如下 : Redis 持久化机制 缓存雪崩、缓存穿透、缓存预热、缓存更新、缓存降级等问题 热点数据和冷数据是什么 Memcache与Redis的区别都有哪些? 单线程的redis为什么这么快 redis的数据类型,以及每种数据类型的使用场景,Redis 内部结构 redis的过期策略以及内存淘汰机制【~】 Redis 为什么是单线程的,优点 如何解决redis的并发竞争key问题 Redis 集群方案应该怎么做?都有哪些方案? 有没有尝试进行多机redis 的部署?如何保证数

m0_37678007的博客 208
上一篇: 掌握Java的内存模型,你就是解决并发问题最靓的仔
下一篇: 为什么网络 I/O 会被阻塞?
Javaesandyou
博客等级 码龄5年 742粉丝 563原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值