可以在https://www.bilibili.com/video/BV1S54y1R7SB学习
Redis配置详解
启动的时候,通过配置文件启动
打开远程连接,然后进入配置文件查看
进入配置文件
单位
1、配置文件unit单位对大小写不敏感
包含
可以包含其他的配置文件,可以把多个配置文件组合成一个
好比学习spring中的import标签,可以把其他的页面包含进来。Jsp里面的include标签把其他的包含进来
网络
通用GENERAL
数据库数量,默认是16个。是否总是显示log
快照(rdb)
持久化,在规定的时间内,执行了多少次操作,则会持久化到文件.rbd.aof
Redis是内存数据库,如果没有持久化,数据断电即失
之后学习持久化,会自己定义这个测试。
REPLICATION复制,在后面的主从复制的学习中再进行分析
SECURITY安全
可以在这里设置redis密码
限制CLIENTS(客户端)
有6种策略
1、volatile-lru:只对设置了过期时间的key进行LRU(默认值)
2、allkeys-lru : 删除lru算法的key
3、volatile-random:随机删除即将过期key
4、allkeys-random:随机删除
5、volatile-ttl : 删除即将过期的
6、noeviction : 永不过期,返回错误
APPEND ONLY 模式 aof配置
具体配置在redis持久化中详细介绍
Redis持久化
Redis 的持久化分为 2 种,一种是 RDB(全量 redis database),一种是 AOF(增量 append only file)
Redis是内存数据库,如果不将内存中的数据库状态保存到磁盘,那么一旦服务进程退出,服务器中的数据库状态也会消失。所以redis提供了持久化功能。
详细了解,戳:https://blog.youkuaiyun.com/qq_44787816/article/details/119451161
RDB(Redis DataBase)
主从复制中,rdb就是备用了
在指定的时间间隔内将内存中的数据集快照写入磁盘,也就是行话讲的Snapshot快照,他回复时是讲快照文件直接读到内存里。
Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何IO操作的。这就确保了极高的性能。如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加高效。RDB的缺点是最后一次持久化后的数据可能丢失。
默认的就是RDB,一般情况下不需要修改这个配置。
在生产环境下会将这个文件进行备份(有时)。
RDB保存的文件是dump.rdb
触发机制
1、 save的规则满足的情况下,会自动触发rdb规则,生成rdb文件
2、 执行flushall命令,也会楚大rdb规则,生成rdb文件
3、 退出(/shutdown)redis,也会产生rdb文件
注意:redis内部默认使用bgsave命令来触发持久化
备份会自动生成一个dump.rdb文件
如果想恢复rdb文件,只需要将rdb文件放在我们redis启动目录就可以,redis启动的时候会自动检查dump.rdb,恢复其中的数据。查看需要存在的位置:config get dir
RDB特点:
1、 RDB 是一种快照模式,即保存的是 key-value 数据内容。
2、RDB 有 2 种持久方式,同步 save 模式 和 异步 bgsave 模式。由于 save 是同步的,所以可以保证数据一致性,而 bgsave 则不能。
3、save 可以在客户端显式触发,也可以在 shutdown 时自动触发;bgsave 可以在客户端显式触发,也可以通过配置由定时任务触发,也可以在 slave 节点触发。
4、save 导致 redis 同步阻塞,基本已经废弃。bgsave 则不会导致阻塞,但也有缺点:在 fork 时,需要增加内存服务器开销,因为当内存不够时,将使用虚拟内存,导致阻塞 Redis 运行。所以,需要保证空闲内存足够。
5、默认执行 shutdown 时,如果没有开启 AOF,则自动执行 bgsave。
6、 每次的 RDB 文件都是替换的。
7、redis 会压缩 RDB 文件,使用 LZF 算法,让最终的 RDB 文件远小于内存大小,默认开启,但会消耗 CPU。
优点:
1、 适合大规模的数据恢复。
2、 对数据的完成性要求不高
3、 rdb只备份数据,占用空间相对较小,回恢复数据也快
4、 rdb默认采用的bgsave来实现,fork一个子进程进行数据持久化
5、 rdb支持全量备份
缺点:
1、 需要一定的时间间隔进行操作,如果redis意外宕机了,这个最后一次修改数据就没有了。
2、 Fork进程的时候,会占用一定的内存空间
3、 RDB快照是一次全量备份,存储的是内存数据的二进制序列化形式,存储上非常紧凑。当进行快照持久化时,会开启一个子进程专门负责快照持久化,子进程会拥有父进程的内存数据,父进程修改内存子进程不会反应出来,所以在快照持久化期间修改的数据不会被保存,可能丢失数据。(简而言之,fork期间数据会丢失)
4、 全量备份耗时严重
5、 老版本 redis 无法兼容新版本 RDB
AOF(Append Only File)
将我们的所有命令都记录下来,好比history,恢复的时候就把这个文件全部再执行一遍。
以日志的形式来记录每个写操作,将Redis执行过的所有指令记录下来(读操作不记录),只许追加文件但不可以改写文件,redis启动之初会读取该文件重新构造数据,换言之,redis重启的话就是根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作
Aof保存的是appendonly.aof文件
手动开启
然后重启redis就可以生效。
如果aof文件有错,redis是启动不起来的,我们需要修复这个aof文件,redis给我们提供了一个工具redis-check-aof
输入命令redis-check-aof –-fix appendonly.aof即可修复aof文件
AOF特点:
1、默认文件名是 appendonly.aof。和 RDB 一样,保存在配置中 dir 目录下。
2、AOF 相比较于 RDB,每次都会保存写命令,数据实时性更高。
3、AOF 由于每次都会记录写命令,文件会很大,因此需要进行优化,称之为“重写机制”(下面详细说)。
4、AOF 每次保存的写命令都放在一个缓冲区,根据不同的策略(下面详细说)同步到磁盘。
优点:
1、 每一次修改都同步,文件的完整性会更好
2、 每秒同步一次,可能会丢失一秒的数据
3、 从不同步,效率最高
4、AOF可以更好的保护数据不丢失,一般AOF会每隔1秒,通过一个后台线程执行一次fsync操作,最多丢失1秒钟的数据。
5、AOF日志文件没有任何磁盘寻址的开销,写入性能非常高,文件不容易破损。
6、AOF日志文件即使过大的时候,出现后台重写操作,也不会影响客户端的读写。
7、AOF日志文件的命令通过非常可读的方式进行记录,这个特性非常适合做灾难性的误删除的紧急恢复。比如某人不小心用flushall命令清空了所有数据,只要这个时候后台rewrite还没有发生,那么就可以立即拷贝AOF文件,将最后一条flushall命令给删了,然后再将该AOF文件放回去,就可以通过恢复机制,自动恢复所有数据
缺点:
1、 相对于数据文件来说,aof远远大于rdb,修复的速度也比rdb慢
2、 aof运行效率也要比rdb慢,所以redis默认的配置时rdb持久化
3、对于同一份数据来说,AOF日志文件通常比RDB数据快照文件更大
4、AOF开启后,支持的写QPS会比RDB支持的写QPS低,因为AOF一般会配置成每秒fsync一次日志文件,当然,每秒一次fsync,性能也还是很高的
5、以前AOF发生过bug,就是通过AOF记录的日志,进行数据恢复的时候,没有恢复一模一样的数据出来
rewrite 重写
如果aof文件大于64m。文件太大,fork一个新的进程来将我们的文件进行重写。aof默认是文件的无限追加,文件会越来越大
扩展
a) RDB持久化方式能够在指定的时间间隔内对你的数据进行快照存储
b) AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以Redis协议追加保存每次写的操作到文件末尾,redis还能对AOF文件进行后台重写,使得AOF文件的提及不至于过大
c) 只做缓存,如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化
d) 同时开启两种持久化方式
1) 在这种情况下,当Redis重启的时候会优先载入AOF文件来恢复原始的数据,因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整
2) RDB的数据不实时,同时使用两者时服务器重启也只会找AOF文件,建议不要只使用AOF,因为RDB更适合用于备份数据库(AOF在不断变化,不好备份),快照重启,而且不会有AOF可能潜在的bug,留着作为一个万一手段
e)性能建议
1)因为RDB文件只能用做后备用途,建议只在Slave上持久化RDB文件,而且只要15分钟备份一次就够了,只保留save 900 1这条规则
2)如果Enable AOF,好处是在罪恶劣情况下也只会丢失不超过两秒数据,启动脚本较简单,值load自己的AOF文件就可以了,代价一是带来了持续的IO,二是AOF rewrite的最后将rewrite过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。只要硬盘许可,应该尽量减少AOF rewrite的频率,AOF重写的基础大小默认值64M太小,可以设到5G以上,默认超过原大小100%大小重写可以改到适当的数值
3)如果不Enable AOF,紧靠Master-Slave Repllcation实现高可用性也可以,能省掉一大笔IO,也减少了rewrite时带来的系统波动。代价是如果Master/Slave同时倒掉,会丢失十几分钟的数据,启动脚本也要比较两个Master/Slave中的RDB文件,载入较新的那个。微博就是这种架构
发布订阅
Redis发布订阅(pub/sub)是一种消息通信模式:发送者(pub)发送消息,订阅者(sub)接收消息。如:微信、微博等关注系统
Redis客户端可以订阅任意数量的频道
订阅/发布消息图:
三个角色:消息发送者,频道,消息订阅者
下图展示了频道channel1,以及订阅这个频道的三个客户端—client2、client5和client1之间的关系:
当有新消息通过PUBLISH命令发送给频道channel1时,这个消息就会被发送给订阅它的三个客户端:
命令
这些命令被广泛用于构建即时通信应用,如网络聊天室(chatroom)和实时广播、实时提醒等
序号 | 命令及描述 |
---|---|
1 | PSUBSCRIBE pattern [xxxxx] 订阅一个或多个符合给定模式的频道 |
2 | PUBSUB subcommand [argument[argument……]] 查看订阅与发布系统状态 |
3 | PUBLISH channel message 将消息发送到指定的频道 |
4 | PUNSUBSCRIBE [pattren[pattern……]] 退订所有给定模式的频道 |
5 | SUBSCRINE channel[channel……] 订阅给定的一个或者多个频道的消息 |
6 | UNSUBSCRIBE [channel[channel……]]指退订给定的频道 |
订阅端:
127.0.0.1:6379> subscribe changan #订阅一个频道changan
Reading messages... (press Ctrl-C to quit)
1) "subscribe"
2) "changan"
3) (integer) 1
#等待读取推送的信息
1) "message" #消息
2) "changan" #哪个频道的消息
3) "gucheng" #消息的具体内容
1) "message"
2) "changan"
3) "xian"
发送端:
127.0.0.1:6379> publish changan "gucheng" #发布者发布信息到频道
(integer) 1
127.0.0.1:6379> publish changan "xian" #发布者发布消息到频道
(integer) 1
127.0.0.1:6379>
原理
Redis是使用C实现的,通过分析Redis源码里的pubsub.c文件,了解发布和订阅机制的底层实现,借此加深对redis的理解。
Redis通过publish(推送)、subscribe(接收)和psubcribe(接收多个)等命令实现发布和订阅功能。
通过subscribe命令订阅某频道后,redis-server里维护了一个字典,字典的键就是一个个channel(频道),而字典的值则是一个链表,链表中保存了所有订阅这个channel的客户端。Subscribe命令的关键,就是将客户端添加到给定channel的订阅链表中。
通过publish命令想订阅者发送消息,redis-server会死用给定的频道作为键,在它所维护的channel字典中查找记录了订阅这个频道的所有客户端的链表,遍历这个链表,将消息发布给所有订阅者。
Pub/Sub从字面上理解就是发布(Publish)和订阅(Subscribe),在redis中,你可以设定对某一个key值进行消息发布及消息订阅,当一个key值上进行了消息发布后,所有订阅它的客户端都会收到相应的消息。这一功能最明显的用法就是用作实时消息系统,比如普通的即时聊天群聊等功能。
使用场景:
1、 实时消息系统
2、 实时聊天(频道当做聊天室,将信息回显给所有人即可)
3、 订阅,关注系统都是可以的
稍微复杂的场景我们就会使用消息中间件MQ(kafka……)
Redis主从复制
概念
主从复制,是指将一台Redis服务器的数据,复制到其他redis服务器,前者称为主节点(master/leader),后者称为从节点(slave/follower);数据的复制是单向的,只能由主节点到从节点。Master以写为主,Slave以读为主。
默认情况下,每台Redis服务器都是主节点,且一个主节点可以有多个从节点(或没有从节点),但一个节点只能有一个主节点。
主从复制的作用:
1、 数据冗余:主从复制实现了数据的热备份,时持久化之外的一种数据冗余方式
2、 故障恢复:当主节点出现问题时,可以由从节点提供服务,实现快速的故障恢复。实际上是一种服务的冗余。
3、 负载均衡:在主从复制的基础上,配合读写分离,可以由主节点提供写服务,由从节点提供读服务(即写Redis数据时应用连接主节点,读Redis数据时应用连接从节点),分担服务器负载;尤其是在写少读多的场景下,通过多个从节点分担读负载,可以大大提高redis服务器的并发量。
4、 高可用(集群)基石:除了上述作用以外,主从复制还是哨兵和集群能够实施的基础,因此说主从复制是Redis高可用的基础
一般来说,腰间redis运用于工程项目中,只使用一台Redis是万万不能的(会宕机,一般部署3个,一主二从),原因:
1、 从结构上,单个Redis服务器会发生单点故障,并且一台服务器需要处理所有的请求负载,压力较大
2、 从容量上,单个Redis服务器内存容量有限,就算一台Redis服务器内存容量为256G,也不能将所有内存用作Redis存储内存,一般来说,单台Redis最大使用内存不应该超过20G
电商网站上的商品,一般都是一次上传,无数次浏览的,说专业点:“多读少写”
主从复制,读写分离80%的情况下都是在进行读操作,减缓服务器的压力。集群中经常使用
主从复制环境配置
只配置从库,不用配置主库
查看当前库信息
127.0.0.1:6379> info replication #查看当前库信息
# Replication
role:master #角色
connected_slaves:0 #0代表没有从机
master_failover_state:no-failover
master_replid:24a20b0df8c77854335a5d2af083534139a64e6f
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:0
second_repl_offset:-1
repl_backlog_active:0
repl_backlog_size:1048576
repl_backlog_first_byte_offset:0
repl_backlog_histlen:0
复制三个配置文件:cp redis.conf redisxxx.conf,修改相对应的信息
修改端口、pid名字、log文件名字、dump.rdb名字
输入i进入编辑模式,编辑完成后首先按esc,然后输入:wq
端口
pid名字和log文件名字
dump.rdb名字
开启四个会话,每个会话上连接一个服务:redis-server redisconfig/redis79.conf,然后连接:redis-cli -p 6379
连接第二个服务:redis-server redisconfig/redis89.conf,然后连接:redis-cli -p 6389
连接第三个服务:redis-server redisconfig/redis99.conf,然后连接:redis-cli -p 6399
在第四个会话测试连接
一主(79)二从(89、99)
默认情况下,每一台redis都是主节点。一般情况下只配置从机。
查看信息:info replication
认当前主机下的6379为主机:slaveof 127.0.0.1 6379
6389认当前主机下的6379为主机:slaveof 127.0.0.1 6379
6399认当前主机下的6379为主机:slaveof 127.0.0.1 6379
找谁当老大
在主机(6379)中查看配置信息,多了从机的配置
想要永久配置主从配置应该在配置文件(redis.conf)中配置,这才是永久的,而使用命令配置时暂时的。
细节
主机可以写,从机不能写只能读。主机中的所有信息和数据都会自动被从机保存
主机写一些信息
从机可以读到,但是写(设置)值就会报错
如果主机(79)断开连接,从机(89、99)依旧是从机,连接到主机,但是没有写操作,这时主机如果连接上了,从机依旧可以直接获取到主机写的信息,如果想要变成主机就只能手动配置
如果从机断(89)开连接并且是使用命令行配置的主从,这个从机(89)就会变成主机(89)。而这只要变成从机,就会立马从主机中获取值。
复制原理:
Slave(从机)启动成功连接到master后会发送一个sync(同步)命令
Master(主机)接到命令,启动后台的存盘进程,同时收集所有接收到的用于修改数据集命令,在后台进程执行完毕之后,master将传送整个数据文件到slave,并完成一次完全同步。
全量复制:salve服务在接收到数据库文件数据后,将其存盘并加载到内存中。
增量复制:master继续将新的所有收集到的修改命令依次传给slave,完成同步
但是只要是重新连接master,一次完全同步(全量复制)将被自动执行,数据一定可以在从机中看到
主从配置第二种模式,链式模式。
将从机(89)变成即是从机也是主机,即89变成从机(99)的主机但依旧是主机(79)的从机。
首先将89变成主机
然后查看配置
这两种方法可以自己玩,工作中不使用。
如果这时主机(79)断开连接,这时只能手动选择一个主机。
执行slaveof no one,就可以自己当主机。而其他的节点可以手动连接到这个主节点(89)
这时要是主机(79)连接上了,从机就没有了,只能重新连接
哨兵模式(自动选取主机)
概念
主从复制技术的方法是:当主机服务器宕机后需要手动把一台服务器切换主服务器,这就是人工干预,费事费力,还会造成一段时间内服务不可用,这不是一种推荐的方式,更多时候,我们优先考虑哨兵模式。Redis从2.8开始正式提供了Sentinel(哨兵)架构来解决这个问题。
谋朝簒位的自动版,能够后台监控主机是否故障,如果故障了根据投票数自动将从库转换为主库。
哨兵模式是一种特殊的模式,首先Redis提供了哨兵的命令,哨兵是一个独立的进程,作为进程,它会独立运行。原理是:哨兵通过发送命令,等待Redis服务器响应,从而监控运行的多个Redis实例。
这哨兵有两个作用
1.通过发送命令,让Redis服务器返回监控其运行状态,包括主服务器和从服务器。
2. 当哨兵检测到master宕机,会自动将slave切换成master,然后通过发布订阅模式通知其他的从服务器,修改配置文件,让它们切换主机
然而一个哨兵进程对Redis服务器进行监控,可能会出现问题,为此,我们可以使用多个哨兵进行监控,各个哨兵之间还会进行监控,这样就形成了多哨兵模式。
假设主服务宕机,哨兵1先检测到这个结果,系统并不会马上进行failover过程,仅仅是哨兵1主观认为主服务不可用,这个现象称为主观下线,当后面的哨兵也检测到主服务器不可用,并且数量达到一定值时,那么哨兵之间就会进行一次投票,投票的结果由一个哨兵发起,进行failover(故障转移)操作。切换成功后,救护通过发布订阅模式,让各个哨兵把自己监控的从服务器实现切换主机,这个过程称为客观下线。
测试
恢复成一主二从的状态之后。
1 配置哨兵配置文件sentinel.conf:sentinel monitor jkredis 127.0.0.1 6379 1
解释:sentinel monitor 名称 host port 1,1代表主机挂了,从机投票看让谁接替成为主机,票数最多的就会成为主机。
开启第四个会话,输入vim sentinel.conf,然后输入i进入插入模式,写完后按esc键再输入:wq进行保存退出
2 启动
输入命令:redis-sentinel redisconfig/sentinel.conf
如果主机崩了,关掉主机
然后在从机中随机选择一个服务器(Redis有一个投票算法),6399成为主机
也可以分别在89、99上查看,看哪个成为了主机
这是就算主机(79)恢复了,也会变成99的从机。这就是哨兵模式的规则
优点
1、 哨兵集群,基于主从复制模式,所有的主从配置优点,它全有
2、 主从可以切换,故障可以转移,系统的可用性会更好
3、 哨兵模式就是主从模式的升级,手动到自动,更加健壮
缺点
1、 Redis不好在线扩容,集群容量一旦达到上限,在线扩容十分麻烦
2、 实现哨兵模式的配置其实很麻烦,里面有很多选择。
3、 特别是在主从切换的瞬间存在访问瞬断的情况,等待时间比较长,至少十来秒不可用。
4、 哨兵模式只有一个主节点对外提供服务,没法支持很高的并发
5、 单个主节点内存也不宜设置得过大,否则会导致持久化文件过大,影响数据恢复或主从同步的效率
哨兵模式的全部配置文件
#Example sentinel.conf
#哨兵sentinel实例运行的端口 默认26379
#如果有哨兵集群,就需要配置每个哨兵的端口
port 26379
#哨兵sentinel的工作目录
dir /tmp
#哨兵sentinel监控的redis主节点的 ip port
#master-name可以自己命名的主节点名字,只能由字母A-z、数字0-9、这三个字符".-_"组成。
#quorum 配置多少个sentinel哨兵统一认为master主节点失联 那么这时客观上认为主节点失联了
#sentinel monitor <master-name> <ip> <redis-port> <quorum>
sentinel monitor mymaster 127.0.0.1 6379 2
#当在Redis实例中开启了requirepass foobared授权密码,这样所有连接Redis实例的客户端都要提供密码
#设置哨兵sentinel连接主从的密码,注意必须为主从设置一样的验证密码
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster XXX
#指定多少毫秒之后主节点没有应答哨兵,此时哨兵主观上认为主节点下线,默认30秒 (延迟操作)
# sentinel down-after-milliseconds <master-name> <milliseconds>
sentinel down-after-milliseconds mymaster 30000
# 这个配置项指定了在发生failover主备切换(选举)时多可以有多少个slave同时对新的master进行同步,数字越小,完成failover所需的时间就越长,但是如果这个数字越大,就意味着越多的slave因为replication而不可用。可以通过将这个值设为1来保证每次只有一个slave处于不能处理命令请求的状态。
# sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1
#故障转移的超时时间failover-timeout可以用在以下这些方面:
#1. 同一个sentinel对同一个master两次failover之间的间隔时间。
#2. 当一个slave从一个错误的master那里同步数据开始计算时间。直到slave被纠正为向正确的master那里同步数据时。
#3.当想要取消一个正在进行的failover所需要的时间。
#4.当进行failover时,配置所有slaves指向新的master所需的大时间。不过,即使过了这个超时,slaves依然会被正确配置为指向master,但是就不按parallel-syncs所配置的规则来了#默认三分钟
# sentinel failover-timeout <master-name> <milliseconds>
sentinel failover-timeout mymaster 180000
#SCRIPTS EXECUTION(具体的执行脚本)
#配置当某一事件发生时所需要执行的脚本,可以通过脚本来通知管理员,例如当系统运行不正常时发邮件通知相关人员。
#对于脚本的运行结果有以下规则:
#若脚本执行后返回1,那么该脚本稍后将会被再次执行,重复次数目前默认为10
#若脚本执行后返回2,或者比2更高的一个返回值,脚本将不会重复执行。
#如果脚本在执行过程中由于收到系统中断信号被终止了,则同返回值为1时的行为相同。#一个脚本的大执行时间为60s,如果超过这个时间,脚本将会被一个SIGKILL信号终止,之后重新执行。
#通知型脚本:当sentinel有任何警告级别的事件发生时(比如说redis实例的主观失效和客观失效等等),将会去调用这个脚本,这时这个脚本应该通过邮件,SMS等方式去通知系统管理员关于系统不正常运行的信息。调用该脚本时,将传给脚本两个参数,一个是事件的类型,一个是事件的描述。如果sentinel.conf配 置文件中配置了这个脚本路径,那么必须保证这个脚本存在于这个路径,并且是可执行的,否则sentinel无 法正常启动成功。
#通知脚本
# shell编程
# sentinel notification-script <master-name> <script-path>
sentinel notification-script mymaster /var/redis/notify.sh
#客户端重新配置主节点参数脚本
# 当一个master由于failover而发生改变时,这个脚本将会被调用,通知相关的客户端关于master地址已经发生改变的信息。
#以下参数将会在调用脚本时传给脚本:
# <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>
# 目前<state>总是“failover”, # <role>是“leader”或者“observer”中的一个。
#参数 from-ip, from-port, to-ip, to-port是用来和旧的master和新的master(即旧的slave)通信的
# 这个脚本应该是通用的,能被多次调用,不是针对性的。
# sentinel client-reconfig-script <master-name> <script-path>
sentinel client-reconfig-script mymaster /var/redis/reconfig.sh #这个一般由运维来配置。如果主机崩了,主机变成了其他的
Redis缓存穿透和雪崩(工作常用)
服务高可用问题
Redis缓存的使用,极大的提升了应用程序的性能和效率,特别是数据查询方面。但同时它也带来了一些问题,其中最重要害的问题,就是数据的一致性问题,从严格意义上讲买这个问题无解。如果对数据的一致性要求很高,那么就不能使用缓存。
另外的一些典型问题就是,缓存穿透,缓存雪崩和缓存击穿。
缓存穿透(查不到导致)
概念
用户想要查询一个数据,发现redis内存数据库没有,也就是缓存没有命中(秒杀),于是向持久层数据库查询。发现也没有,于是本次查询失败。当用户很多的时候,缓存都没有命中,于是都去请求了持久层数据库,这会给持久层数据库造成很大的压力,这时候就相当于出现了缓存穿透。
解决方案
布隆过滤器(导包)
布隆过滤器是一种数据结构,对所有可能查询的参数以hash形式存储,在控制层先进行校验,不符合则丢弃,从而避免了对底层存储系统的查询压力
缓存空对象
当存储层不命中后,即是返回的空对象也将其缓存起来,同时会设置一个过期时间,之后再访问这个数据将会从缓存中获取,保护了后端数据源。
但是这种方法会存在两个问题:
1、 如果空值能够被缓存起来,这就意味着缓存需要更多的空间存储更多的键,因为这当中可能会有很多空值的键
2、 即使对空值设置了过期时间,还是会存在缓存层和存储层的数据会有一段时间窗口的不一致,这对于需要保持一致性的业务会有影响。
缓存击穿(查的量太多,缓存过期导致)
概念
这里需要注意和缓存击穿的区别,缓存击穿是指一个key非常热点,在不停的扛着大并发,大并发集中对这一个点进行访问,当这个key在失效的瞬间,持续的大并发就穿破缓存,直接请求数据库,就像在一个屏幕上凿开了一个洞。
当某个key在过期的瞬间,有大量的请求并发访问,这类数据一般是热点数据,由于缓存过期,会同时访问数据库来查询最新数据,并且会写缓存,会导致数据库瞬间压力过大。
解决方案
设置热点数据永不过期
从缓存层面来看,没有设置过期时间,所以不会出现热点key过期后产生的问题
加互斥锁
分布式锁(setnx):使用分布式锁,保证对于每个key同时只有一个线程去查询后端服务,其他线程没有获得分布式锁的权限,因此只需要等待即可。这种方式将高并发的压力转移到了分布式锁,因此对分布式锁的考验很大。
缓存雪崩
概念
缓存雪崩,是指在某一个时间段,缓存集中过期失效。/Redis宕机
产生原因之一,比如在写文本的时候,马上就要到双十二零点,很快就会迎来一波抢购,这波商品时间比较集中放入了缓存,假设缓存一个小时,那么到了凌晨一点的时候,这批商品的缓存就都过期了,而对这批商品的访问查询,都落到了数据库上,对于数据库而言,就会产生周期性的压力波峰。于是所有的请求都会达到存储层,存储层的调用量会暴增,造成存储层也会挂掉的情况。
解决方案
Redis高可用
这个思想的含义:既然redis有可能挂掉,那多增设几台redis,这样一台挂掉之后其他的还可以继续工作,其实就是搭建的集群。(异地多活)
限流降级
这个解决方案的思想:在缓存失效后,通过加锁或者队列来控制读数据库写缓存的线程数量。比如对某个key只允许一个线程直询数据和写缓存,其他线程等待。
数据预热
数据加热的含义就是在正式部署之前,我先把可能的数据先预热访问一遍,这样不分可能大量访问的数据就会加载到缓存中,在即将发生大并发访问前手动触发加载缓存不同的key,设置不同的过期时间,让缓存失效的时间点尽量均匀。