redis中RDB和AOF两种持久化方式的比较

RDB 和 AOF 的实现原理和优缺点 RDB(Redis DataBase)是Redis的一种数据持久化方式,即快照方式。Redis通过fork出一个子进程来将内存中的数据写入磁盘。在保存快照期间,Redis主进程会被阻塞。 阅读详情

1、RDB持久化机制

就是我们俗称的备份,他可以在定期内对数据进行备份,将Redis服务器中的数据持久化到硬盘中;

文件格式是:dump.rdb

快照持久化通用的配置:

RDB持久化的工作流程:

  1. Redis根据配置自己尝试生成RDB快照文件;
  2. fork一个子进程出来;
  3. 子进程尝试将数据写到临时的RDB快照文件中;
  4. 完成RDB快照文件的生成之后,就替换之前旧的快照文件;

2、AOF持久化机制

他会在执行写命令的时候,将执行的每条写命令以append-only的模式写入一个日志文件中存放在硬盘里面,后期恢复的时候,只需要重新执行一下这个写命令就可以了。类似于我们的MySQL数据库在进行主从复制的时候,使用的是binlog二进制文件,同样的是执行一遍写命令。在Redis重启的时候,可以通过回放AOF日志中的写入指令来重新构建整个数据集;

文件格式是:appendonly.aof

AOP持久化配置:

3、注意事项

  1. 这两种持久化的方式既可以单独的使用,也可以同时使用,具体选择哪种方式需要根据具体的情况进行选择。
  2. 如果我们想要Redis仅仅作为纯内存的缓存来用,那么我们可以禁止RDB和AOF所有的持久化机制;
  3. 通过RDB或AOF,都可以将Redis内存中的数据给持久化到磁盘上面来,然后可以将这些数据备份到别的地方去。我们一般会选择非当前机器的磁盘文件,这样可以避免由于机器损坏等因素导致磁盘数据和内存数据全部丢失,一般具有一定的隔离性。比如说云盘,云服务等;
  4. 如果Redis挂了,服务器上的内存和磁盘上的数据都丢了,我们就可以从事先备份好的存放在云盘、云服务等地方的数据拷贝回来,放到指定的目录中,然后重新启动Redis,Redis就会自动根据持久化数据文件中的数据,去恢复内存中的数据,继续对外提供服务;
  5. 如果同时使用RDB和AOF两种持久化机制,那么在Redis重启的时候,会使用AOF来重新构建数据,因为AOF中的数据更加完整;
  6. 也可以通过save或者bgsave命令同步或异步指定RDB快照生成。
  7. AOF持久化,默认是关闭的,默认是打开RDB持久化;
  8. appendonly yes,可以打开AOF持久化机制,在生产环境里面,一般来说AOF都是要打开的,除非你说随便丢个几分钟的数据也无所谓;

二、RDB持久化机制的优点

1、RDB会生成多个数据文件,每个数据文件都代表了某一个时刻中Redis的数据,这种多个数据文件的方式,非常适合做冷备,可以将这种完整的数据文件发送到一些远程的安全存储上去。比如说Amazon的S3云服务上去,在国内可以是阿里云的ODPS分布式存储上,以预定好的备份策略来定期备份Redis中的数据;

  1. RDB做冷备时会生成多个文件,每个文件都代表了某一个时刻的完整的数据快照;
  2. AOF也可以做冷备,只有一个文件,但是你可以,每隔一定时间,去copy一份这个文件出来;
  3. RDB做冷备,优势在哪儿呢?由Redis去控制固定时长生成快照文件的事情,比较方便; AOF,还需要自己写一些脚本去做这个事情,各种定时;
  4. RDB数据做冷备,在最坏的情况下,提供数据恢复的时候,速度比AOF快;

2、RDB对Redis对外提供的读写服务,影响非常小,可以让Redis保持高性能,因为Redis主进程只需要fork一个子进程,让子进程执行磁盘IO操作来进行RDB持久化即可;

  1. RDB每次写,都是直接写Redis内存,只是在一定的时候,才会将数据写入磁盘中;
  2. AOF,每次都是要写文件的,虽然可以快速写入os cache中,但是还是有一定的时间开销的,速度肯定比RDB略慢一些;

3、相对于AOF持久化机制来说,直接基于RDB数据文件来重启和恢复Redis进程,更加快速;(为什么恢复的时候RDB比AOF快?)

  1. AOF,存放的指令日志,做数据恢复的时候,其实是要回放和执行所有的指令日志,来恢复出来内存中的所有数据的;
  2. RDB,就是一份数据文件,恢复的时候,直接加载到内存中即可;

结合上述优点,RDB特别适合做冷备份,冷备。

  • RDB持久化机制的缺点

1、如果想要在Redis故障时,尽可能少的丢失数据,那么RDB没有AOF好。一般来说,RDB数据快照文件,都是每隔5分钟,或者更长时间生成一次,这个时候就得接受一旦Redis进程宕机,那么会丢失最近5分钟的数据;

这个问题,也是RDB最大的缺点,就是不适合做第一优先的恢复方案,如果你依赖RDB做第一优先恢复方案,会导致数据丢失的比较多

2、RDB每次在fork子进程来执行RDB快照数据文件生成的时候,如果数据文件特别大,可能会导致对客户端提供的服务暂停数毫秒,或者甚至数秒;

一般不要让RDB的间隔太长,否则每次生成的RDB文件太大了,对Redis本身的性能可能会有影响的;

  • AOF持久化机制的优点

1、AOF可以更好的保护数据不丢失,一般AOF会每隔1秒,通过一个后台线程执行一次fsync操作,最多丢失1秒钟的数据;

  1. 每隔1秒,就执行一次fsync操作,保证os cache中的数据写入磁盘中;
  2. Redis进程挂了,最多丢掉1秒钟的数据;

2、AOF日志文件以append-only模式写入,所以没有任何磁盘寻址的开销,写入性能非常高,而且文件不容易破损,即使文件尾部破损,也很容易修;

3、AOF日志文件即使过大的时候,出现后台重写操作,也不会影响客户端的读写。因为在rewrite log的时候,会对其中的指导进行压缩,创建出一份需要恢复数据的最小日志出来。再创建新日志文件的时候,老的日志文件还是照常写入。

  1. 当新的merge后的日志文件ready的时候,再交换新老日志文件即可。

4、AOF日志文件的命令通过非常可读的方式进行记录,这个特性非常适合做灾难性的误删除的紧急恢复。比如某人不小心用flushall命令清空了所有数据,只要这个时候后台rewrite还没有发生,那么就可以立即拷贝AOF文件,将最后一条flushall命令给删了,然后再将该AOF文件放回去,就可以通过恢复机制,自动恢复所有数据;

五、AOF持久化机制的缺点

1、对于同一份数据来说,AOF日志文件通常比RDB数据快照文件更大;

2、AOF开启后,支持的写QPS会比RDB支持的写QPS低,因为AOF一般会配置成每秒fsync一次日志文件,当然,每秒一次fsync,性能也还是很高的;

如果你要保证一条数据都不丢,也是可以的,AOF的fsync设置成没写入一条数据,fsync一次,那就完蛋了,Redis的QPS大降;

3、以前AOF发生过bug,就是通过AOF记录的日志,进行数据恢复的时候,没有恢复一模一样的数据出来。所以说,类似AOF这种较为复杂的基于命令日志/merge/回放的方式,比基于RDB每次持久化一份完整的数据快照文件的方式,更加脆弱一些,容易有bug。不过AOF就是为了避免rewrite过程导致的bug,因此每次rewrite并不是基于旧的指令日志进行merge的,而是基于当时内存中的数据进行指令的重新构建,这样健壮性会好很多。

六、RDB和AOF到底该如何选择

1、不要仅仅使用RDB,因为那样会导致你丢失很多数据;

2、也不要仅仅使用AOF,因为那样有两个问题:

  1. 你通过AOF做冷备,没有RDB做冷备,来的恢复速度更快;
  2. 第二,RDB每次简单粗暴生成数据快照,更加健壮,可以避免AOF这种复杂的备份和恢复机制的bug;;

3、综合使用AOF和RDB两种持久化机制,用AOF来保证数据不丢失,作为数据恢复的第一选择; 用RDB来做不同程度的冷备,在AOF文件都丢失或损坏不可用的时候,还可以使用RDB来进行快速的数据恢复;

从理论到代码:如何用随机矩阵理论(RMT)优化你的微生物共现网络分析? 本文详细介绍了如何利用随机矩阵理论(RMT)优化微生物共现网络分析,解决传统阈值法的主观性和不稳定性问题。通过R语言实现端到端的分析流程,包括矩阵标准化、本征值谱分析和自动阈值确定,显著提升网络构建的准确性和可靠性。该方法特别适用于高通量测序数据,能自动识别噪声与真实信号的边界,为微生物组学研究提供更精确的互作网络分析工具。 阅读详情

相关推荐

医学图像处理实战:3D Slicer从安装到病灶分析全流程指南

本文提供了一份详尽的3D Slicer实战指南,涵盖从软件安装、DICOM数据导入到图像增强、病灶分割及三维可视化的全流程。重点演示了如何利用阈值分割、区域生长等核心图像处理技术进行病灶分析,并生成定量报告,是医学影像分析初学者的实用入门教程。

weixin_29278805的博客 614

【Redis】深入理解 Redis 持久化机制 —— RDB 和 AOF

虽然 Redis 是一个内存数据库,但由于各种原因,如 Redis 服务器的重启、意外崩溃等,内存中的数据可能会丢失。为了确保数据的持久性和可靠性,Redis引入了持久化机制,允许将数据定期保存到磁盘中,以便在下次启动 Redis 时能够恢复原来的数据到内存中。 Redis 的持久化机制是 Redis 数据库的一个重要组成部分,它允许将内存中的数据以不同的方式写入磁盘,以防止数据丢失。这对于许多应用场景非常关键,特别是需要长期保存数据或具有高可用性要求的系统。

qq_61635026的博客 7059

全志V3S嵌入式驱动开发(解决kernel 5.2.y wifi驱动问题)

​【 声明:版权所有,欢迎转载,请勿用于商业用途。 联系信箱:feixiaoxing @163.com】 wifi模块,之前测试的时候,开发板上用的是esp8089,当时内核时4.14.y,测试也是通过的。链接地址在这里, https://blog.youkuaiyun.com/feixiaoxing/article/details/131178420?spm=1001.2014.3001.5501 那个时候测试的时候,我们就说过,wifi驱动可能是除了镜像制作之外,最复杂的一个

嵌入式-老费,一个分享专业嵌入式知识的blog 1161

Redis持久化的两种方式:RDB与AOF(详解)

Redis为什么要持久化机制,RDB和AOF两者有什么特点,两者如何抉择?

PeaK欢迎大家评论留言,一起交流Java技术 6157

4.Simulink基础建模操作——加减乘除运算

加减乘除运算

FPGA/MATLAB学习教程/源码/项目合作开发 9553

Android SELinux——neverallow问题处理(十六)

遇到 neverallow 规则问题,千万别急着去注释/剔除里面原有的规则(原生的尽量别动)。增加 allow 规则是常见的解决办法,但是随着 android 版本的升级,系统对 SELinux 的管控越来越严,增加了大量的 neverallow。一般情况下,向默认标签授予权限的做法是错误的,其中许多权限都是 neverallow 规则所不允许的。按照上面方法去添加 SELinux 可能会违反了 neverallow 规则,编译时候会报 neverallow 相关的错误。

小旭的专栏 2694

redis的持久化方式RDB和AOF的区别

1、前言 最近在项目中使用到Redis做缓存,方便多个业务进程之间共享数据。由于Redis的数据都存放在内存中,如果没有配置持久化,redis重启后数据就全丢失了,于是需要开启redis的持久化功能,将数据保存到磁盘上,当redis重启后,可以从磁盘中恢复数据。redis提供两种方式进行持久化,一种是RDB持久化(原理是将Reids在内存中的数据库记录定时dump到磁盘上的RDB持久化),另外一种是AOF持久化(原理是将Reids的操作日志以追加的方式写入文件)。那么这两种持久化方式有什么区别呢,改如何选

houhj168的专栏 912

c语言实现求一个矩阵特征值和特征向量

前言 求矩阵的特征值,主要是用的QR分解,在我的有一次博客里,我已经详细地给出了计算的过程,大家有兴趣可以去看下,经过几天的钻研,终于完成了整个的eig算法。下面我将把我的整个代码附上,有不懂的可以问我,欢迎一起讨论学习! 这是对上一次的修改版,上一次写的程序是在C++编译环境下编译的,所以放在c里面编译有些会出错。 最后,如果有不对的地方希望大...

qq_36417014的博客 2万+

Redis持久化:RDB和AOF机制详解

为什么需要持久化?Redis持久化有哪些方式呢?为什么我们需要重点学RDB和AOF? 看了这篇文章,详细你一定有所收获

zhaolk的博客 4558

利用pytorch长短期记忆网络LSTM实现股票预测分析

长短时记忆网络(Long Short Term Memory Network, LSTM),是一种改进之后的循环神经网络,可以解决RNN无法处理长距离的依赖的问题,目前比较流行。LSTM主要就是加入了三个门控:第一个开关遗忘门:负责控制继续保存长期状态c;第二个开关输入门:负责控制把即时状态输入到长期状态c;第三个开关输出门:负责控制是否把长期状态c作为当前的LSTM的输出。

优快云 精品推荐 1万+

python抓取美团外卖的数据(商家、评分、评论)

本文详细介绍了如何使用Selenium和抓取美团外卖的商家、评分和评论数据。我们从基础的爬虫原理入手,分析了美团外卖的网页结构,提出了应对反爬虫机制的策略,并给出了详细的代码实现。通过使用Selenium,我们能够绕过动态加载内容的限制,直接抓取网页中的商家信息和评论。结合多线程和代理池等技术,我们可以进一步提高爬虫效率,并避免IP被封禁。未来,随着爬虫技术的发展,我们可以进一步探索深度抓取、数据清洗和数据分析等高级应用,以实现更智能的网页数据抓取。

2201_76125261的博客 2704

Redis中的RDB和AOF

RDB 和 AOF 是 Redis 中两种不同的数据持久化方式,它们各自有不同的优缺点和适用场景。

qq798280904的博客 629

C/C++李峋同款跳动的爱心代码(完整代码)

C++语言实现出李峋同款跳动的爱心的完整代码。

AIGC 10万+

redis持久化的两种方式比较:RDB和AOF

Redis是一种内存键值存储,其完全在内存中运行,性能非常高效。但一旦发生系统故障或断电,内存中的数据会全部丢失。为了避免这个问题,redis本身提供了持久化的能力,使内存中的数据刷新至磁盘中,便于备份和恢复。 Redis持久化方式 Redis持久化的两种方式 RDB 数据库快照 AOF 日志追加文件 RDB RDB是指定时间间隔,定期生成一个时间点快照。快照内包含当前实例的...

Tiny Home 963

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

visio安装包

Microsoft Office Visio 是一款专业的制图软件。利用经过更新的形状、协作工具和数据链接图表,创建专业级图表以简化复杂的信息。

【Redis(2)】Redis的持久化方式RDB和AOF配置

Redis结合使用RDB和AOF持久化可以提供数据的快速恢复和高完整性。然而,"高性能"是相对的,并且取决于具体的使用场景和系统资源。在实际部署中,应该根据工作负载、数据重要性、硬件能力以及对数据丢失的容忍度来调整配置。

JCoder的博客 2260

android 蓝牙通讯demo

android 下蓝牙通讯demo,实现了发现蓝牙,使能蓝牙,通过蓝牙发送消息。

⑩①【缓存】Redis持久化 RDB + AOF

RDB全称 Redis Database Backup file,即Redis数据备份文件,也被叫做**Redis数据快照。** AOF全称 Append Only File,即**追加文件。** Redis处理的**每一个写命令都会记录在AOF文件中** ,也可以将其看作日志文件。

ebb29bbe的博客 2358

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

Redis持久化机制 RDB 和 AOF 的选择

在 Redis 运行时, RDB 将当前内存中的数据库生成一个 Snapshot 快照保存到磁盘文件中, 在 Redis 重启动时, RDB 可以通过载入 RDB 文件来还原数据库的状态。

double222222的博客 1141

【Redis快速入门】Redis的两种持久化方式

基于Redis集群解决单机Redis存在的问题Redis提供两种持久化方式,RDB和AOF;与RDB不同,AOF可以完整的记录整个数据库,而不像RDB只是数据库某一时刻的快照;RDB(bgsave命令执行过程中,只有fork子进程时会阻塞服务器;而对于save命令,整个过程都会阻塞服务器;因此save已基本被废弃,线上环境要杜绝save的使用 )save n mRDB是一个紧凑压缩的二进制文件 ,表示在n秒内,如果redis发生了M次的修改,则redis的数据会被存储到内存中。

鱼干的博客 2773

Redis持久化RDB和AOF

Redis持久化 Redis支持RDB和AOF两种持久化机制,持久化功能有效地避免因进程退出造成的数据丢失问题,当下次重启时利用之前持久化的文件即可实现数据恢复。 1.RDB持久化 RDB持久化是把当前进程数据生成快照保存到硬盘的过程,触发RDB持久化过程分为手动触发和自动触发 1)触发机制 手动触发分别对应save和bgsave命令 ·save命令:阻塞当前Redis服务器,直到RDB过程完成为止,对于内存 比较大的实例会造成长时间阻塞,线上环境不建议使用 ·bgsave命令:Redis进程执行fork操

lonelyVM的博客 155

redis aof 备份和恢复_Redis持久化RDB 和 AOF的区别

Redis持久化备份数据的方式有两种:RDB(Redis DataBase) 、 AOF(Append Only File).RDB什么是RDB在指定时间间隔内,将内存中的数据集快照写入磁盘,也就是Snapshot快照,它恢复时是将快照文件直接读到内存中,来达到恢复数据的。如何持久化Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写进一个临时文件中,等到持久化过程结束了,再用这个...

weixin_39531178的博客 193

Redis持久化---RDB和AOF

目录 一、RDB方式持久化 1、什么是RDB 2、配置位置及SNAPSHOTTING解析 3、优点和缺点 二、AOF方式持久化 1、什么是AOF 2、配置AOF 3、优点和缺点 三、总结 一、RDB方式持久化 1、什么是RDB 在指定的时间间隔内将内存中的数据集快照写入磁盘,也就是行话讲的Snapshot快照,它恢复时是将快 照文件直接读到内存里。Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程 都结束了,再用这...

Rk的博客 747

Redis 两种持久化方式 AOF 和 RDB

通常情况下,可以同时使用 RDB 和 AOF,以兼顾数据恢复的速度和可靠性。如果需要在故障时最小化数据丢失,并且对于恢复速度有较高的要求,可以使用 AOF 持久化。如果对于备份和快速恢复有较高要求,可以使用 RDB 持久化。

AliceNo的博客 2405

[Redis]——Redis持久化的两种方式RDB、AOF

RDB快照模式和AOF追加模式

Panci_的博客 710

说说RDB和AOF

众所周知,redis是一个内存数据库,当机器重启后,内存中数据都会丢失。所以redis提供了两种持久化方式,即:RDB(保存一个时间点前的数据)和AOF(保存redis服务器端执行的每一条命令)。

benaso的大学学习历程 709

Redis持久化——RDB、AOF

Redis持久化——RDB、AOF 什么是持久化 redis所有数据都保存在内存中,对数据的更新异步保存到磁盘上。 在Redis中持久化的方式有两种,一种是快照持久化,一种是AOF持久化,各有各的优缺点,在项目中我们得根据实际的情况来选择具体的持久化方式。 快照持久化(RDB) 也叫RDB持久化方式。就是通过拍摄快照的方式来实现持久化,将某个时间的内存数据存储在一个rdb文件中。在redis服务重新启动的时候会加载rdb文件中的数据。 通过RDB方式实现持久化,一旦Redis异常退出,就会丢失最后一次快

weixin_42812754的博客 287

面试专栏:RDB和AOF

格式:RDB是二进制格式,紧凑但不可读;AOF是纯文本格式,可读但通常体积更大。内容:RDB包含了某个时刻的数据快照,而AOF包含了达到当前状态所需执行的所有命令。恢复速度:RDB文件可以更快地被加载恢复,因为它是直接将数据状态读入内存;而AOF恢复速度较慢,因为需要重新执行文件中的所有命令。数据安全性:AOF可以提供更高的数据安全性,因为它能够更频繁地记录数据变化。选择哪种持久化方式(或同时使用两种方式)取决于具体的业务需求,包括对数据安全性的需求、恢复速度的要求以及对系统性能的影响。

weixin_62827806的博客 1074
上一篇: Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别,以及适合哪些场景?
下一篇: 深入剖析序列化和反序列化底层实现原理
Jack爱258
博客等级 码龄10年 1288粉丝 124原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值