Redis持久化

redis开启rdb和aof后文件正确恢复 1.服务器环境: 3主3从,192.168.24.16,192.168.24.17,192.168.24.18,每一台服务器上2个节点,分别为主节点和从节点 2.备份 开启的备份策略是默认的rdb,aof没有打开 使用 Redis Desktop Manager连接,数据库中有3条数据 现在我需要同时开启aof和rdb两个持久化策略,假如我们直接关闭redis,并且打开aof的开关,我们看看保存的数据还在不在。 更改配置之后重启redis发现数据没了 appendo.. 阅读详情

目录

前言

RDB 

手动触发

自动触发

bgsave的命令运作流程 

Redis的默认Config目录

RDB文件的处理

保存目录

压缩

校验

RDB文件的自动保存设置

 RDB文件的优缺点 

 AOF

开启AOF 

AOF工作流程

AOF缓冲区同步文件策略

重写机制 

重写流程 

 同时开启RDB和AOF的数据恢复形式   

小结


前言

Redis支持RDB和AOF两种持久化机制,持久化能够有效避免因进程退出而造成的数据丢失问题,说白了就是将内存上的数据保存到硬盘上,等待下次加载时再将内存上的数据读取出来

RDB 

RDB持久化是把当前进程数据生成快照保存到硬盘的过程,触发RDB持久化分为手动触发亦或者自动触发

手动触发

  • bgsave:Redis进程执行fork操作创建子进程,RDB持久化过程由子进程负责,完成后自动结束。阻塞只在fork阶段
  • save :阻塞当前Redis服务器,直到RDB过程完成位置

 Redis内部所有设计RDB操作都采用类似bgsave的方式,即不影响Redis的服务

自动触发

  1.  使⽤save配置。如"save m n"表⽰m秒内数据集发⽣了n次修改,⾃动RDB持久化
  2.  从节点进⾏全量复制操作时,主节点⾃动进⾏RDB持久化,随后将RDB⽂件内容发送给从结点
  3.  执⾏shutdown命令关闭Redis时,执⾏?RDB?持久化

bgsave的命令运作流程 

  1.  执行bgsave命令,Redis父进程判断当前进程是否存在其他执行的子进程,如RDB/AOF子进程,有的话bgsave直接返回了
  2. 父进程执行fork创建子进程,fork过程中父进程会被阻塞,fork的耗时的单位为微秒~~
  3. 父进程fork完成后,bgsave命令返回"Background saving started"信息,并不再阻塞父进程
  4. 子进程创建RDB文件,根据父进程内存生成临时的快照文件,完成后对原有文件进行原子替换(lastsave 命令可以获取最后一次生成RDB文件的时间)
  5. 进程发送信号给父进程表示完成,父进程更新统计信息

Redis的默认Config目录

在ubuntu下Redis的默认配置目录:

/etc/redis/redis.conf

这里可以修改Redis的配置文件的目录:

RDB文件的处理

保存目录

默认保存在 [ /var/lib/redis ] 下

下面这里是redis.conf中生成rdb文件的配置项~~ 

文件名通过dbfilename配置指定(默认dump.rdb) 

压缩

Redis默认采用LZF算法对生成的RDB文件做压缩处理,压缩后的文件远远小于内存大小,默认开启,可以通过

tip:虽然压缩会消耗cpu,但可以大幅降低文件体积,方便通过网络发送到从节点,建议打开 

校验

如果Redis启动加载到损坏的RDB文件会拒绝启动。这时候就可以使用Redis提供过的redis-check-dump工具检测RDB文件并获取对应的错误报告~

RDB文件的自动保存设置

 RDB文件的优缺点 

  •  RDB是一个紧凑压缩二进制文件,代表Redis某个时间上的数据快照。非常适用与备份,全量复制的场景。比如你每天手机自动同步一次相册到云相册那样的意思
  • Redis加载RDB恢复数据远远快于AOF,因为RDB是二进制文件~
  • RDB方式数据没办法做到实时持久化。因为bgsave每次运行都要fork的,属于重量级操作,太过于频繁的全量复制,对服务器的cpu和硬盘复核很大
  • RDB文件使用特定的二进制格式保存,Redis版本演进过程中有多个RDB版本,兼容性可能有冲突

 AOF

AOF(Append Only File)持久化:以独立日志的方式记录每次写命令,重启时再重新执行AOF文件中的命令达到恢复数据的目的。AOF主要作用就是解决的数据持久化的实时性,目前已经是Redis持久化的主流方式 

开启AOF 

开启AOF功能需要设置配置:appendonly yes,默认不开启。

开启AOF功能需要设置配置:appendonly yes,默认不开启。AOF⽂件名通过appendfilename

配置(默认是appendonly.aof)设置。保存⽬录同RDB持久化⽅式⼀致,通过dir配置指定。AOF的⼯作流程操作:命令写⼊(append)、⽂件同步(sync)、⽂件重写(rewrite)、重启加载(load)

AOF工作流程

  • 将输入的命令加入到AOF缓冲区(aof_buf)中
  • AOF缓冲区根据不同策略向硬盘进行同步操作
  • 随着AOF文件增大,会定期对AOF文件进行重写(rewrite)来进行压缩
  • 重新启动的时候就可以加载对应的AOF文件

Q:AOF过程为什么要提供缓冲区?

A:首先要知道Redis设计师单线程响应,如果每次AOF文件都直接跟文件进行IO,性能会大打折扣,所以就先存着,数量到了一起IO,因此Redis也给用户提供了不同的缓冲同步策略,用户可以根据场景来自行判断使用

AOF缓冲区同步文件策略

配置项说明
always命令写入到aof_buf后调用fsync同步
everysec命令写入到aof_buf后只执行write操作,不进行fsync。每秒由同步线程进行fsync
no命令写入aof_buf后只执行write操作,由OS控制fsync频率

 

 系统调用write和fsync说明:

  • write操作会出发延迟写机制。Linux内核提供页缓冲区用来保证硬盘IO性能。write操作在写入系统缓冲区后就会返回。什么时候同步看操作系统怎么调度。如果在这期间服务器挂了,那数据就没有了
  • Fsync针对单个文件做强制的硬盘同步,fsync将阻塞直到数据写入到硬盘

所以上面的的三个配置项可以这么解释

  • always:只要缓冲区有东西我就马上写入到硬盘中持久化起来,非常的频繁,只有珍贵数据这样做
  • no:什么时候同步看OS,同步时间不可控,虽然提高了性能但是对文件的保护也下降不少
  • everysec:这个是默认配置,理论上最多丢失1s内的数据,平衡了数据和性能 

重写机制 

着命令不断写⼊AOF,⽂件会越来越⼤,为了解决这个问题,Redis引⼊AOF重写机制压缩⽂件体积。AOF⽂件重写是把Redis进程内的数据转化为写命令同步到新的AOF⽂件。

Q:怎么重写后就能让AOF的文件变小,怎么做到的??

A:

  • 超时数据不写入文件,比如set k1 one 后 又ket k1 two 那么第一次的set就是超时数据
  • 旧的AOF中的无效命令,例如del,hdel,srem之类,比如set k1 后 del k1,那么这两个命令加起来就是无效命令了
  • 多条合并为一条,例如:lpush my_list fir,lpush my_list sec,lpush my_list thr直接变成一条命令lpush my_list fir sec thr

你知道的这个文件在保证数据正确的前提下当然越小越好~~ 

较⼩的AOF⽂件⼀⽅⾯降低了硬盘空间占⽤,⼀⽅⾯可以提升启动Redis时数据恢复的速度 

重写流程 

 

1.执行AOF重写请求。如果当前进程正在执行了AOF重写,直接返回。如果当前进程正在bgsave,那么重写就延迟到bgsave后执行

2.父进程开始fork后继续保持原来工作

3.开始重写咯

        a.主进程fork之后,继续响应其他命令,所有的修改操作一并写入到aof_buf 和       aof_rewrite_buf中,此时要保证旧的AOF文件正确

        b.子进程fork之后写入完新的AOF文件后,再把aof_rewrite_buf中的缓冲区也加进去,组合成一个完整的aof文件

4.重写完成

 同时开启RDB和AOF的数据恢复形式   

 

 可以看出如果RDB和AOF同时开启那么AOF优先~~

小结

1.Redis提供了两种持久化方案:RDB和AOF

2.RDB视为内存快照,占用空间小,恢复速度快,但生产代价高

3.AOF视为对修改命令的保存,在恢复时重新执行命令。并且拥有重写机制来压缩AOF文件

4.RDB和AOF都使用fork创建子进程应用,利用子进程拥有父进程的内存快照的特点进行持久化 

redis数据持久化 在实际使用中需要根据Redis作为主存还是缓存、数据完整性和缺失性的要求、CPU和内存情况等诸多因素来确定适合自己的持久化方案,一般来说稳妥的做法包括:RDB与AOF同时使用:最安全的做法,即使AOF损坏无法修复,还可以用RDB来恢复数据,当然在持久化时对性能也会有影响。只使用RDB:在Redis当简单缓存,没有缓存也不会造成缓存雪崩的情况下可只使用RDB即可。单独使用AOF:不推荐,因为AOF对于数据的恢复载入比RDB慢,所以使用AOF的时候,最好还是有RDB作为备份。 阅读详情

相关推荐

eDP、DP与HDMI——现代显示接口的核心解析

eDP、DP和HDMI各有千秋:eDP以嵌入式设备的低功耗见长,DP凭借开放生态和高带宽成为专业领域首选,而HDMI则依靠庞大的消费电子生态稳居家庭市场。未来,随着Type-C接口的普及和超高清内容的爆发,三者的技术边界可能进一步融合,但各自的核心优势仍将长期共存。对于用户而言,选择接口需基于设备需求——游戏玩家青睐HDMI的VRR,设计师依赖DP的多屏扩展,而轻薄本则离不开eDP的紧凑设计。

麟的博客 8437

商品详情页系统 -- day03 RDB和AOF配置及使用实验

一、配置RDB持久化机制   修改 /etc/redis/6379.conf 配置文件,配置redis的RDB持久化机制: 其中:         save 60 1000 表示:每隔60s,如果超过1000个key的值发生变化,那么就会生成一个新的dump.rdb文件,就是当前redis内存中完整的数据快照,这个操作也被称为snapshotting(快照),也可以手动调用save或者...

wingzhezhe的博客 566

基于Sentinel-2(哨兵2)遥感卫星的植被覆盖度提取

基于Sentinel-2(哨兵2)遥感卫星的植被覆盖度提取 一、Sentinel-2简单介绍 哨兵-2系列卫星的主要载荷多光谱成像仪拥有13个谱段,从可见光到近红外再到短波红外,空间分辨率从10m到60m,能实现全所未有的陆地海洋监测水平。其幅宽高达290KM,且A、B双星组合,覆盖能力比美国Landsat8卫星强很多。目前哨兵-2A和哨兵-2B已经实现了5天的重访时间,即使在之前仅有单颗卫星时,...

weixin_44143671的博客 2万+

redis 持久化 RDB + AOF

redis 持久化 RDB 、AOF 、混合模式、redis文件恢复

lfssst的博客 1374

grafana对接zabbix数据展示

【配置】点击【模板】点击【创建模板】添加三个监控项:【名称】搜索【】创建的模板;点击上方【监控项】,点击创建【监控项】点击上方【触发器】点击【创建触发器】主机关联监控模板:左侧【配置】点击 【主机】点击【Zabbix server】查看:左侧点击【监测】点击【主机】点击【Zabbix server】点击最新数据,找到添加的三个模板主机关联监控模板:左侧【配置】点击 【主机】点击【Zabbix server】把监控模板用起来① 明确获取指标数据的方法。

2401_83883919的博客 6595

近几年预训练语音大模型汇总

语音大模型研究近年来取得显著进展,主要包括wav2vec 2.0(2020)、HuBERT(2021)、WavLM(2022)、Data2Vec(2022)、Whisper(2023)等代表性工作。这些模型采用自监督学习框架,通过掩码预测、对比学习等策略在大规模语音数据上预训练,可有效应用于语音识别、情感分析、疾病检测等下游任务。其中wav2vec 2.0首次将对比学习引入语音领域,Whisper通过68万小时弱监督数据实现强大的跨语言能力。这些突破为低资源语音任务提供了通用特征提取方案,推动了医疗语音分析

victory0431的博客 1783

一文理解 Redis 持久化:RDB和AOF

1. 概述 我们知道 Redis 是一个内存数据库,也就意味着如果我们的电脑异常重启或者服务器宕机的情况下,存储在 Redis 中的数据会丢失。 Redis 虽然是个内存数据库,但是 Redis 支持 RDB 和 AOF 两种持久化机制,将数据写往磁盘,可以有效地避免因进程退出造成的数据丢失问题,当下次重启时利用之前持久化的文件即可实现数据恢复。 2. RDB RDB(Redis DataBase) 持久化是把当前进程数据生成快照保存到硬盘的过程。什么是快照?你可以理解成把当前时刻的数据拍成一张照片保存下来

个人站点:javatv.net 1543

HAL库STM32CubeMX+DHT11温湿度传感器模块化驱动与OLED显示实战

本文详细介绍了基于HAL库和STM32CubeMX开发DHT11温湿度传感器模块化驱动的实战过程。通过精确的时序控制和模块化封装,实现了传感器数据采集,并结合OLED显示模块实时展示温湿度信息,为嵌入式开发者提供了完整的解决方案。

h6j7k8l9p0的博客 1135

详解Redis之持久化

详解Redis持久化之RDB持久化和AOF持久化。

. 9426

第8讲:基于CST PCB Studio的电源完整性仿真(IR Drop + PDN)

本文系统介绍了电源完整性(PI)仿真的两大核心模块:直流IRDrop仿真与交流PDN阻抗仿真。文章详细阐述了两种仿真的原理、算法(PEEC和3DFE-FD)及完整操作流程,包括参数配置、软件实操步骤和常见问题解决方案。IRDrop仿真用于分析直流供电压降问题,PDN仿真则针对高频电源噪声和谐振问题。文中还提供了优化建议和故障排查方法,如调整铜箔厚度、优化电容布局等,为高速数字系统的电源完整性设计提供了全面的技术指导。(149字)

一只豌豆象的博客 245

2025年华为杯中国研究生数学建模竞赛A题 通用神经网络处理器下的核内调度问题 思路+代码

针对通用神经网络处理器下的核内调度问题,我们提出了一套基于分层优化框架的系统性解决方案。该方案首先通过缓存敏感的启发式拓扑排序算法生成最小峰值缓存占用的调度序列,在满足计算图依赖关系的前提下优先选择能够释放或减少缓存占用的节点;随后采用最佳适应算法进行精细化的缓存分配,结合LRU换出策略动态管理多级缓存空间,最小化额外数据搬运量;最后引入多目标遗传算法进行联合优化,在严格控制数据搬运量不显著增加的前提下,通过关键路径分析、流水线并行和数据预取等技术进一步优化总执行时间。

YOLO 786

[Redis] Redis数据持久化

我们之前在学习MySQL数据库的时候,我们学习过MySQL事务的四个比较核心的特性:分别是原子性(把对多个表的操作打包为一个操作),一致性(事务前后的数据都是合法数据,比如同一个操作中同时减少和增加一个值,要不同时成功,要不同时失败,不能出现中间状态),持久性(把数据存储在硬盘上),隔离性(脏读,不可重复读,幻读,串行化).

无需多言 2696

越野换了逐飞的ips200pro的屏幕后代码烧录中报错: “Cannot initialize device connection” 和 “Flashing failed” ...如何解决?

🏆 本文收录于《全栈Bug调优(实战版)》专栏,致力于分享我在项目实战过程中遇到的各类Bug及其原因,并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者,本文将为你指引出一条更高效的Bug修复之路,助你早日登顶,迈向财富自由的梦想🚀!同时,欢迎大家关注、收藏、订阅本专栏,更多精彩内容正在持续更新中。让我们一起进步,Up!Up!Up!    备注: 部分问题/难题源自互联网,经过精心筛选和整理,结合数位十多年大厂实战经验资深大佬经验总结所得,数条可行方案供所需之人参考。

**My Coding Family** 1152

Redis两种持久化方式

Redis两种持久化方式

水w的博客 1977

贝叶斯统计 [韦来生编]

贝叶斯(Bayes)统计是近几十年来迅速发展起来的数理统计的一个重要分支。贝叶斯方法与经典统计方法的主要不同之处是进行统计推断时除了利用样本信息外,还要利用参数的先验信息,因此可以提高统计推断或统计决策的效果。它在经济、金融、生物、医学、自然科学和社会科学等许多领域具有广泛的应用。贝叶斯方法的研究已渗透到了统计学的几乎所有领域。作者在给中国科学技术大学概率论与数理统计专业本科生开设的“数理统计”课程中有一章专门讲授“贝叶斯方法和统计决策理论”,近十年来也给中国科学技术大学概率统计专业研究生开设过几次“贝叶斯分析”课。本书是在对过去讲稿的内容作了适当的增减和调整的基础上完成的。  本书共分六章。第1章是绪论,介绍了贝叶斯统计的若干基本概念,同时对必要的数理统计的基础知识有重点地作了回顾。第二章介绍了确定先验分布的若干可供选择的方法。第三章介绍了几类常见统计模型参数的后验分布的主要结果和计算方法。第四章和第五章分别介绍了“贝叶斯统计推断”和“贝叶斯统计决策”的内容。第六章介绍了贝叶斯统计计算的若干方法,包括蒙特卡洛方法和马尔可夫链蒙特卡洛(MCMC)方法以及相关统计软件的简介。本书的每一章附右大量的例题和习题,书末附有常用的几个表格和部分习题解答供读者查用。  大约可在54学时内讲授本书的第1章至第六章的主要内容,教师可根据学时需要选讲本书第1章至第六章的部分内容。书中标“*”号的章节可略去不讲,留给读者作为阅读材料。第六章例题中的R代码和部分例题的数据文件等可从作者个人主页下载。  作者在编写本书的过程中参考了J.O.Berger教授的《统计决策论及贝叶斯分析》和茆诗松教授编写的《贝叶斯统计》等书中的一些内容,以及《贝叶斯分析》一书中由张伟平博士编写的有关贝叶斯统计计算的一些内容。在此表示衷心感谢。  本书编写准备过程中,中国科学技术大学统计与金融系的几个研究生帮助完成了本书部分中文的录入和排版,作者对他们的辛勤工作表示真诚的感谢。高等教育出版社为本书的出版给予了大力支持。在此一并致谢。

IEM模型,地表粗糙度模拟

利用微波反演土壤水分时候,利用IEM模型可以实现对随机地表的模拟

【Redis】持久化机制

Redis持久化

chaodddddd的博客 2584

VB摄像头监控

该VB模块可对摄像头捕获的画面进行录像等,可在创建的窗口进行控制

Redis的持久化

1.MySQL可以保证事务中的持久性,即只要事务提交,之后无论MySQL挂了还是服务器宕机,数据都不会丢失。 2.而Redis虽然也有持久化策略,但是它缺无法保证持久性,当Redis挂了,往往都会丢失一定的数据。 造成这两种的区别就是它们的持久化策略不同

tazj666的博客 1001

redis的持久化

Redis 的持久化机制主要是通过内部的方式来实现的,而不是直接将数据写入到外部数据库(如 MySQL)。下面将详细介绍 Redis 的默认持久化机制,以及如何通过编程的方式将 Redis 数据手动同步到 MySQL。

2301_76723322的博客 1543

【redis】redis持久化

两种持久化方式(1)RDB(Redis DataBase):内存中数据直接写入文件中(2)AOF(Append Of File):以追加的行为把内容写入文件中。

rita_0567的博客 1628

Redis 之持久化

Redis提供了两个持久化数据的能力,RDB Snapshot 和 AOF(Append Only FIle)日志,RDB快照能够在指定的时间间隔内生成数据快照,而AOF日志则记录了所有的写操作命令。RDB做镜像全量持久化,AOF做增量持久化。 RDB全称Redis Database Backup file (Redis数据备份⽂件),也被叫做Redis数据快照。简单来说就是把内存中的所有数据都记录到磁盘中。 当Redis实例故障重启后,从磁盘读取快照⽂件,恢复数据。这样一来即使

gorgor在码农 1384

Redis 持久化

Redis 存储数据时,对于同一份数据,分别在内存和硬盘上都进行了存储,当查询某个数据时,直接从内存中读取,硬盘的数据用来在 Redis 重启时恢复内存中的数据,Redis 提供了两种内存持久化的策略。

2202_76097976的博客 1884

Redis --- Redis如何做持久化

Redis如何做持久化 一共三种 一、RDB(快照)持久化:保存某个时间点的全量数据快照 redis.conf save 60 1 代表Redis在60秒内写入一条数据那么进行快照 stop-writes-on-basave-error yes 代表当备份进程出错的时候,主进程就停止写入新的操作了。这样是为了保护持久化数据一致性的问题。 rdbcompression yes 表示...

xinbumi的博客 2万+

Redis持久化的方式

本文主要讲述了redis的rdb,aof持久化的原理流程和配置使用

sjhhshsh的博客 1953

Redis:持久化

讲解Redis的持久化,包括AOF,RDB,混合持久化

博客网站 https://async-area.com 1963
上一篇: Redis常见数据类型下
下一篇: Redis事务 和 主从复制
pythoncjavac++
博客等级 码龄5年 718粉丝 71原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

pythoncjavac++

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值