Redis高级

Redis高级特性 发布/订阅模式是一种消息通信模式,允许一个或多个发布者将消息发送到一个或多个订阅者。Redis提供简单的事务功能,可以确保一组命令按顺序执行,具有原子性。Redis支持Lua脚本,可以将多个命令封装在一个脚本中执行,确保原子性和高效性。Redis提供两种持久化方式:RDB快照和AOF日志。RDB (Redis Database)快照:在指定时间间隔保存数据快照。AOF (Append Only File)日志:记录每次写操作,重启时重放日志。 阅读详情

一、Redis主从复制

概述

1、redis的复制功能是支持多个数据库之间的数据同步。一类是主数据库(master)一类是从数据库(slave),主数据库可以进行读写操作,当发生写操作的时候自动将数据同步到从数据库,而从数据库一般是只读的,并接收主数据库同步过来的数据,一个主数据库可以有多个从数据库,而一个从数据库只能有一个主数据库。

2、通过redis的复制功能可以很好的实现数据库的读写分离,提高服务器的负载能力。主数据库主要进行写操作,而从数据库负责读操作。

 

主从复制过程:见下图

 

 

 

过程:

1:当一个从数据库启动时,会向主数据库发送sync命令,

2:主数据库接收到sync命令后会开始在后台保存快照(执行rdb操作),并将保存期间接收到的命令缓存起来

3:当快照完成后,redis会将快照文件和所有缓存的命令发送给从数据库。

4:从数据库收到后,会载入快照文件并执行收到的缓存的命令。

 

进行配置过程

  一主多从实现

  介绍:  主服务器可以读写,但是从服务器只允许读。

  场景:

  •  读写分离(读、写分别不同的库,增加整体的吞吐量)、
  • 日志备份、高可用读写分离问题:
  • 同步(redis自带解决方案)

 

Redis只能一个主,多个从:

 

 

过程(使用内网实现的通讯):

1、 从服务器启动时候,会向Master发送sync命令.从服务器是指向主服务器的IP和端口号。

2、当Master接收到sync命令后,会开始在后台保存快照(执行rdb操作),并将保存期间接收到的命令缓存起来。(一旦在主服务器有任何写的操作,都会有快照文件记录)

3、当快照完成后,redis会将快照文件和所有缓存的命令发送给Slave。

 

修改slave从redis中的 redis.conf文件

slaveof  ip + 端口 
masterauth 123456--- 主redis服务器配置了密码,则需要配置

 

直接服务器配置

 

 

  配置好了,启动主,再启动从。

 

结果验证:

 主服务器写入:

 

 

 从服务器可以读

 

 从服务器不可以写!

 

 

 

可以通过 info 查看标志:

信息一目了然

 

一个主 多个从的话 那就每个从都设置下 , 只能有一个主!!

 

二、Redis持久化

 什么是Redis持久化?

  •  就是将内存数据保存到硬盘。

Redis 持久化存储方式:

  •  AOF
  •  RDB

 

 解释:

1. RDB 是以二进制文件,是在某个时间 点将数据写入一个临时文件(60s set 10个key),持久化结束后,用这个临时文件替换上次持久化的文件,达到数据恢复。

优点:使用单独子进程来进行持久化,主进程不会进行任何 IO 操作,保证了 redis 的高性能。开启单独的进程去做写的io操作和当前redis主进程没有任何关联。 
缺点:RDB 是间隔一段时间进行持久化,如果持久化之间 redis 发生故障,会发生数据丢失。所以这种方式更适合数据要求不严谨的时候,这里说的这个执行数据写入到临时文件的时间点是可以通过配置来自己确定的,通过配置redis 在 n 秒内如果超过 m 个 key 被修改这执行一次 RDB 操作。这个操作就类似于在这个时间点来保存一次 Redis 的所有数据,一次快照数据。所有这个持久化方法也通常叫做 snapshots。Redis的值存放在内存中,防止突然断电。对数据进行持久化的备份。非实时,突然断电,可能有一部分数据丢失

         

 验证RDB

 1.写入值 then 宕机

2.启动,读取值

3.默认开启了 rdb持久化

 

结论:

删除掉,在开启就查不到了哦。当服务器宕机后,以RDB进行持久化

配置文件就可以找到这个默认的配置:

 

在slave中:

 

 

300s 内做了 10次文件的保存 会生产rdb文件记录.

 

解释备注:

#dbfilename:持久化数据存储在本地的文件

dbfilename dump.rdb

#dir:持久化数据存储在本地的路径,如果是在/redis/redis-3.0.6/src下启动的redis-cli,则数据会存储在当前src目录下

dir ./

##snapshot触发的时机,save   

##如下为900秒后,至少有一个变更操作,才会snapshot 

##对于此值的设置,需要谨慎,评估系统的变更操作密集程度 

##可以通过“save “””来关闭snapshot功能 

#save时间,以下分别表示更改了1个key时间隔900s进行持久化存储;更改了10个key300s进行存储;更改10000个key60s进行存储。

save 900 1

save 300 10

save 60 10000

##当snapshot时出现错误无法继续时,是否阻塞客户端“变更操作”,“错误”可能因为磁盘已满/磁盘故障/OS级别异常等 

stop-writes-on-bgsave-error yes 

##是否启用rdb文件压缩,默认为“yes”,压缩往往意味着“额外的cpu消耗”,同时也意味这较小的文件尺寸以及较短的网络传输时间 

rdbcompression yes 

 

2.AOF,Append-only file,将“操作 + 数据”以格式化指令的方式追加到操作日志文件的尾部,在 append 操作返回后(已经写入到文件或者即将写入),才进行实际的数据变更,“日志文件”保存了历史所有的操作过程;当 server 需要数据恢复时,可以直接 replay 此日志文件,即可还原所有的操作过程。AOF 相对可靠,它和 mysql 中 bin.log、apache.log、zookeeper 中 txn-log 简直异曲同工。AOF 文件内容是字符串,非常容易阅读和解析。我们可以简单的认为 AOF 就是日志文件,此文件只会记录“变更操作”(例如:set/del 等),如果 server 中持续的大量变更操作,将会导致 AOF 文件非常的庞大,意味着 server 失效后,数据恢复的过程将会很长;事实上,一条数据经过多次变更,将会产生多条 AOF 记录,其实只要保存当前的状态,历史的操作记录是可以抛弃的;因为 AOF 持久化模式还伴生了“AOF rewrite”。
AOF 的特性决定了它相对比较安全,如果你期望数据更少的丢失,那么可以采用 AOF 模式。如果 AOF 文件正在被写入时突然 server 失效,有可能导致文件的最后一次记录是不完整,你可以通过手工或者程序的方式去检测并修正不完整的记录,以便通过AOF 文件恢复能够正常;同时需要提醒,如果你的 redis 持久化手段中有 AOF ,那么在 server 故障失效后再次启动前,需要检测AOF 文件的完整性。

优点:可以保持更高的数据完整性,如果设置追加 file 的时间是 1s,如果 redis 发生故障,最多会丢失 1s 的数据;且如果日志写入不完整支持 redis-check-aof 来进行日志修复;AOF 文件没被 rewrite 之前(文件过大时会对命令进行合并重写),可以删除其中的某些命令(比如误操作的 flushall)。

缺点:AOF 文件比 RDB 文件大,且恢复速度慢。

 

验证AOF

AOF 实时日志记录形式 只会记录set之类的 写的操作  

1.配置时候 appendonly yes  就OK了

2.然后进行写入值:

3.最后看到这个文件:

这个日志文件 只会存放写的日志文件

get之类的肯定不会记录的哦 只会记录增 、删、 改的操作.由于是实时的 效率低 影响整体性能  AOF庞大的话 就很影响整体性能了。如果突然断电这样的情况 肯定AOF好!

 

总结:

AOF 是文件操作,对于变更操作比较密集的 server,那么必将造成磁盘 IO 的负荷加重;此外 linux 对文件操作采取了“延迟写入”手段,即并非每次 write 操作都会触发实际磁盘操作,而是进入了 buffer 中,当 buffer 数据达到阀值时触发实际写入(也有其他时机),这是 linux 对文件系统的优化,但是这却有可能带来隐患,如果 buffer 没有刷新到磁盘,此时物理机器失效(比如断电),那么有可能导致最后一条或者多条 AOF记录的丢失。通过上述配置文件,可以得知 redis 提供了 3 中 AOF记录同步选项:

1.always:每一条AOF 记录都立即同步到文件,这是最安全的方式,也以为更多的磁盘操作和阻塞延迟,是 IO 开支较大。

2.everysec:每秒同步一次,性能和安全都比较中庸的方式,也是 redis 推荐的方式。如果遇到物理服务器故障,有可能导致最近一秒内 AOF 记录丢失(可能为部分丢失)。

3.no:redis 并不直接调用文件同步,而是交给操作系统来处理,操作系统可以根据 buffer 填充情况 / 通道空闲时间等择机触发同步;这是一种普通的文件操作方式。性能较好,在物理服务器故障时,数据丢失量会因 OS 配置有关。

其实,我们可以选择的太少,everysec 是最佳的选择。如果你非常在意每个数据都极其可靠,建议你选择一款“关系性数据库”吧。
AOF 文件会不断增大,它的大小直接影响“故障恢复”的时间, 而且 AOF 文件中历史操作是可以丢弃的。AOF rewrite 操作就是“压缩”AOF 文件的过程,当然 redis 并没有采用“基于原 aof 文件”来重写的方式,而是采取了类似 snapshot 的方式:基于 copy-on-write,全量遍历内存中数据,然后逐个序列到 aof 文件中。因此 AOF rewrite 能够正确反应当前内存数据的状态,这正是我们所需要的;*rewrite 过程中,对于新的变更操作将仍然被写入到原 AOF 文件中,同时这些新的变更操作也会被 redis 收集起来(buffer,copy-on-write 方式下,最极端的可能是所有的 key 都在此期间被修改,将会耗费 2 倍内存),当内存数据被全部写入到新的 aof 文件之后,收集的新的变更操作也将会一并追加到新的 aof 文件中,此后将会重命名新的 AOF文件为 appendonly.aof, 此后所有的操作都将被写入新的 aof 文件。如果在 rewrite 过程中,出现故障,将不会影响原 AOF 文件的正常工作,只有当 rewrite 完成之后才会切换文件,因为 rewrite 过程是比较可靠的。*

触发 rewrite 的时机可以通过配置文件来声明,同时 redis 中可以通过 bgrewriteaof 指令人工干预。

redis-cli -h ip -p port bgrewriteaof

因为 rewrite 操作 /aof 记录同步 /snapshot 都消耗磁盘 IO,redis 采取了“schedule”策略:无论是“人工干预”还是系统触发,snapshot 和 rewrite 需要逐个被执行。

AOF rewrite 过程并不阻塞客户端请求。系统会开启一个子进程来完成。

 

备注:

##此选项为aof功能的开关,默认为“no”,可以通过“yes”来开启aof功能  ##只有在“yes”下,aof重写/文件同步等特性才会生效 

appendonly yes 

##指定aof文件名称 

appendfilename appendonly.aof 

##指定aof操作中文件同步策略,有三个合法值:always everysec no,默认为everysec 

appendfsync everysec 

##在aof-rewrite期间,appendfsync是否暂缓文件同步,"no"表示“不暂缓”,“yes”表示“暂缓”,默认为“no” 

no-appendfsync-on-rewrite no 

 

##aof文件rewrite触发的最小文件尺寸(mb,gb),只有大于此aof文件大于此尺寸是才会触发rewrite,默认“64mb”,建议“512mb” 

auto-aof-rewrite-min-size 64mb 

 
##相对于“上一次”rewrite,本次rewrite触发时aof文件应该增长的百分比。 

##每一次rewrite之后,redis都会记录下此时“新aof”文件的大小(例如A),那么当aof文件增长到A*(1 + p)之后 

##触发下一次rewrite,每一次aof记录的添加,都会检测当前aof文件的尺寸。  

 auto-aof-rewrite-percentage 100  

 

【实用】Redis高级功能 目录 1. 内存淘汰 1.1 主动过期 1.2 内存策略 1.3 Redis淘汰机制 2. Redis事物 2.1 事物简介 2.2 Redis事物使用 2.3 Redis事物原理 2.4 Redis事物踩坑 3. Redis持久化 3.1 RDB 3.1.1 RDB 配置使用 3.1.2 RDB 内部流程 3.1.3 RDB 内部结构 3.1.4 RDB 配置建议 ... 阅读详情

相关推荐

信号转换为图像 时域频域分析

一维信号如何转化为图像?深度学习如何学习 1.当然,直接1d卷积也是可以的。 2. 以信号强度的数值作为纵坐标,以时间为横坐标绘制信号点就可以了。 周霖那个即是 要看看代码是如何做的, 即使是单导联 5000个点,怎么变成50005000的分辨率的 3. 直接把多通道的一维信号合并成二维图像,然后直接按图像卷积的方法去做~~ 2225000这样一个图 ~可以看看语音处理的相关Net,其中比较...

王不留行嘿呦嘿 2万+

Redis的高级特性一览

应用场景: 缓存系统:用于缓解数据库的高并发压力 计数器:使用Redis原子操作,用于社交网络的转发数,评论数,粉丝数,关注数等 排行榜:使用zset数据结构,进行排行榜计算 实时系统:使用Redis位图的功能实现布隆过滤器,进而实现垃圾邮件处理系统 消息队列:使用list数据结构,消息发布者push数据,多个消息订阅者通过阻塞线程pop数据,以此提供简单的消息队列能力 之所以说简单,是Re...

全菜工程师小辉的博客 5731

HUAWEI华为荣耀MagicBook MateBook B D E X 13 14 16 笔记本MateStation台式机原装Win10出厂Windows11系统

HUAWEI华为MateBookX原装出厂系统恢复原厂系统,型号:MACHC-WAE9LP、EUL-W29P、MACHR-W19L、MACHR-W29、MACHD-WFE9、MRGF-16、MACHR-W19BL、MACHD-WFE9Q、WT-W19、Mach-W19、Mach-W29、WT-W09、WT-W19、MACH-W29等。HUAWEI华为MateBookE原装出厂系统恢复原厂系统,型号:PAK-AL09、GK-W7X、GK-G58、GK-W76、DRC-W76等。

QQ17855069的博客 17万+

Redis 高级应用指南

Redis 不仅仅是一个简单的键值存储系统,它还提供了许多高级功能和数据结构,可以用来解决复杂的业务问题。本篇文章将探讨一些Redis的高级应用场景和技术细节,包括事务处理、发布/订阅模式、Lua脚本以及集群等。本文仅介绍了Redis的一些高级特性及其应用。掌握这些技术可以帮助你构建更加高效、可靠的应用程序。希望这篇文章能激发你探索更多关于Redis的知识!

2301_80152021的博客 949

Greenplum基础

CREATE DATABASE 是 SQL 命令,用于创建一个新的数据库。name 是你要创建的数据库的名称。这个名称是必须的,并且在同一个数据库服务器上必须是唯一的。可选项,OWNER 指定了新数据库的所有者,如果未指定,新数据库的所有者默认是执行该命令的用户。dbowner 是数据库所有者的用户名。可选项,TEMPLATE 指定了用于创建新数据库的模板。在 PostgreSQL 和 GreenPlum 中,通常有一个名为 template1 的默认模板。如果不指定,就会使用这个默认模板。

m0_57697768的博客 1207

音频分割:长语音音频 分割为 短语音音频 - python 实现

音频分割:长语音音频 分割为 短语音音频 - python 实现

DATABALL 的博客 1207

【Redis高级】

Redis高级

u012632105的博客 128

【EB_Tresos专题】-06-配置一个UDS诊断DID

<--返回「Autosar_BSW高阶配置」总目录--> <--返回「Autosar_BSW高阶配置」专栏主页--> <--返回「个人博客」首页--> <--返回「Autosar_BSW高阶配置」总目录--> <--返回「Autosar_BSW高阶配置」专栏主页--> <--返回「个人博客」首页--> 结尾 ...

「汽车电子助手」的博客 4089

redis高级用法

redis高级特性 一、发布订阅 概述 发布订阅功能,可以类比的理解为广播,发布端发布消息至redis,订阅端通过监听redis的channel获取消息内容。 如上图所示,publisher1可以发布消息到java-channel和python-channel;subscriber3也同时可以订阅java-channel、python-channel、ruby-channel的消息。 订阅端可以同时订阅多个channel,可以通过监听方法的入参来区分channel。 发布端可以,分别向多个channel

FanGer的博客 1059

十一、增强现实

那都是n年前的老版本了,新版本完全没有这个问题,我就是纠结这个问题,搭建若干环境,又是vmware虚拟机,又是msys2,又是anaconda,又是找机器,折腾了几天,结果通通不是。以一张实际卡片为锚点,通过笔记本的摄像头,在显示器上将一个计算机内的3d物体显示在卡片上,类似于电影上看到的那种全息投影技术;如果你是想在windows环境下开发linux运行程序,那么CygWin/gcc是你的不二之选。而如果你想开发的是windows运行程序,并且追求速度,那么二者相比而言,MinGW是更好的选择。

3189

【RT-DETR涨点改进】独家小目标涨点改进篇 | TGRS 2025 | RT-DETR引入ABRNet小目标检测顶刊中的:ARF自适应性感受野和MCA双向交叉轴注意力,适合小目标检测有效涨点

本文提出了一种改进的RT-DETR小目标检测方法,通过集成自适应感受野模块(ARF)和多尺度交叉轴注意力模块(BC)来提升检测性能。ARF模块采用多种卷积核动态调整感受野,有效捕获多尺度目标特征并减少背景干扰;BC模块通过多尺度交叉轴注意力机制增强全局信息提取和特征融合能力。实验表明,该方法在复杂背景下显著提升了红外小目标检测的精度和效率,同时降低了计算开销。文章详细介绍了模块结构、原理及实现代码,并提供了多种改进配置方案,为小目标检测任务提供了有效的解决方案。

Ai缝合怪、助力小伙伴高效发论文 572

redis 高级

一,缓存雪崩 1.缓存击穿 我们使用缓存一般的思路是:先查缓存,没有就查数据库,然后数据库结果放入缓存,如果查不到就返回。当有人恶心大量查询不存在数据时,就会导致每次都查数据库。 解决:查不到数据时,构建一个空对象放入redis,后台设置定时删除策略。这样就不会导致数据库崩溃。 2.缓存失效 对缓存数据设置相同的过期时间,导致某段时间内缓存失效,请求全部走数据库。 解决:在缓存的时候给过期时间加上...

吉他程序员的博客 347

从零开始讲DDR(5)——读懂Datasheet

对于开发人员来说,需要根据实际场景和使用的需要,使用不同厂家,不同型号的DDR,虽然原理上大同小异,但是还是有一些细节上的需要注意的地方,接触一个新的DDR芯片,首先就是需要找到对应的datasheet,而能都读懂datasheet,也是一个硬件工程师的必备技能。

apple_53311083的博客 5225

【Redis知识】Redis进阶-redis还有哪些高级特性?

MULTI:开始事务。EXEC:执行事务中的所有命令。DISCARD:取消事务。WATCH:监视一个或多个键,用于实现乐观锁。通过这些命令,Redis 提供了一种简单但功能强大的事务机制,可以在多个命令之间保持数据的一致性。基本概念频道(Channel):消息的通道或主题,发布者将消息发布到特定的频道,而订阅者可以选择订阅一个或多个频道来接收相关的消息。发布者(Publisher):负责发布消息到频道的客户端,使用PUBLISH命令将消息发送到一个或多个频道。订阅者(Subscriber)

wendao76的专栏 1383

efm32 入门.pdf

本PDF共计22页,介绍的是操作驱动API,下载与否自己斟酌。

廖雪峰Python教程[完整版]

廖雪峰的python教程整理的,已经排好版了,而且还是完整的,适合小白

Redis——高级主题

服务器配置、Redis事务、Redis发布和订阅、Redis管道、数据备份与恢复、Redis性能测试、Redis客户端连接、Redis服务开机自启动、Redis内存分析工具

码说芯语的博客 1328

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

Redis高级知识学习

【代码】Redis高级知识学习。

weixin_62969822的博客 845

霍尼韦尔SoftMaster使用说明

霍尼韦尔SoftMaster使用说明

三、Redis的高级命令及高级应用

Redis的高级命令及高级应用

彭天虎 677

Redis高级配置

Redis高级配置发布-订阅模式事务处理乐观锁安全认证Redis性能监控 Redis实现发布-订阅处理 Redis可以进行认证授权 Redis实现数据库的相关性能监控 发布-订阅模式 Redis数据库的访问性能较高,所以可以利用Redis实现消息系统中的发布-订阅处理模式,即一个发送者进行消息发送,所有的订阅者实现消息的接收。 客户端A 开启订阅模式 subscribe subscribe-channel 客户端B开启发布模式 publish subscribe-channel www.baidu.

sinat_27674731的博客 294

Redis高级用法大揭秘:从基础到实战

Redis高级用法摘要 Redis是一款高性能内存数据库,支持多种数据结构。文章介绍了Redis的高级应用场景和数据结构: 应用场景: 缓存:减轻数据库压力 消息队列:异步任务处理 分布式锁:保证数据一致性 计数器/排行榜:高效统计 高级数据结构: Bitmap:位操作,适合签到统计、用户在线状态等场景 HyperLogLog:基数统计,估算不重复元素数量,内存占用极低 其他高级结构还包括GEO、Stream等 这些高级功能使Redis在电商、社交、游戏等场景中能高效处理海量数据,提升系统性能。

u014326264的专栏 687

redis 基础+高级

缓存技术之 Redis 基础+高级

qq_45930942的博客 948

Redis学习之高级应用

Redis高级应用 1、安全性 设置客户端连接后进行任何其他指令前需要使用密码 注意:因为redis速度非常快,所以在一台比较好的服务器下,一个外部的用户可以在1秒钟进行15万次的密码尝试,这意味着需要指定非常强大的密码来防止暴力破解 修改配置文件如下选项:requirepass 密码授权方式: ①在输入操作命令之前授权auth 密码②在使用客户端谅解时直接授权 ./redis-cl

qq_23049329的博客 513

【Redis教程0x04】详解Redis的4个高级数据类型

Redis HyperLogLog是Redis 2.8.9新增的数据类型,是一种用于基数统计的数据集合类型,基数统计就是指统计一个集合中不重复的元素个数。但要注意的是,HyperLogLog的统计规则是基于概览完成的,误算率为0.81%。简单来说,HyperLogLog就是提供不精确的去重计数。HyperLogLog 的优点是,在输入元素的数量或者体积非常非常大时,计算基数所需的内存空间总是固定的、并且是很小的。只需要 12k 的空间就能存储接近**2^64**个不同元素。

weixin_70757494的博客 1215
上一篇: ere
下一篇: RabbitMQ整合Spring Booot【点对点模式】
Art&Code
博客等级 码龄7年 77粉丝 554原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值