redis持久化性能测试

最新推荐文章于 2024-06-21 21:36:40 发布
原创 最新推荐文章于 2024-06-21 21:36:40 发布 · 4.2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文测试了Redis在不同内存占用及持久化方式下的性能表现，包括RDB与AOF的对比，以及不同数据量级下的命令执行效率。
一、总结分析
       经过测试，在redis同时开启rdb和aof做持久化数据备份的情况下：
 测试在环境redis的内存从0-3.35G的情况下
（a）每个命令的执行性能基本稳定，除LRANGE命令外基本都在5W request/s以上。
（b）重启速度随着持久化文件的变大，而变长。
（c）在redis数据需要内存3.35G，aof：5.9G的情况下，关闭redis，执行shutdown：33.91s，启动加载数据到redis内存需要20.189s。
（d）range的性能随着所取条数的变大而急速下降，因此在使用LRANGE的时候，需要尤其注意。
由于rdb是定时做对redis内存做快照，因此速度比较快，但是也容易丢失数据，aof是追加日志的方式，数据丢失少。通过以下测试，建议：使用redis自身持久化方式，并且同时开启rdb和aof两种持久化测试，rdb根据具体业务定时快照，aof也可以根据具体业务定时rewrite来增加性能

二、在beta环境安装redis做测试

环境配置如下：
Mem：65801104k ，free：43711948k
os:Linux 2.6.32-358.2.1.el6.x86_64 x86_64

redis版本2.8.4，配置：
redis开启RDB save 900 1 （15min内有1次save动作就做快照）
aof：appendfsync everysec

1、安装redis之后redis内存中没有数据的情况下，直接测试：
（a）、redis-benchmark -n 100000 -c 20 -d 256 :20个客户端并发发送了10000个请求，256字节
插入速度最高是的命令SADD：57142 request/s,其它命令基本都在5W以上，只有LRANGE取前100条的时候14556 request/s，其取的条数越多，效率急速下降

（b）、redis-benchmark -n 100000 -c 20 -d 1024，发送1024字节的情况：
插入速度最快的命令是SADD：57471 request/s，其它命令略有下降，只有LRANGE取前100条的时候5546 request/s，其取的条数越多，效率比发送256字节降的更快、更急

2、通过cat data.txt | redis-cli --pipe导入数据，1048576（512*1024*2）个key，value为字符串，每个字符串512b，整个文件(data.txt)大小为512M,产生的aof为548M，dump.rpb尚未生成
（a）、redis-benchmark -n 100000 -c 20 -d 256
插入速度最高是的命令SADD：57142 request/s,其它命令基本都在5W以上，只有LRANGE取前100条的时候15243 request/s，其取的条数越多，效率急速下降

（b）、redis-benchmark -n 100000 -c 20 -d 1024，发送1024字节的情况：
插入速度最高是的命令SADD：56497 request/s,其它命令略有下降，只有LRANGE取前100条的时候5515 request/s，其取的条数越多，效率急速下降

这时候的命令执行性能和在第一次安装redis的时候，基本保持一致
这时候查看redis内存情况：

执行完两个测试之后,持久化文件大小：aof：956M,rdb:372M
内存情况：used_memory:942001704
used_memory_human:898.36M
used_memory_rss:959778816
used_memory_peak:950352256
used_memory_peak_human:906.33M

（c）、redis启动、关闭速度：
这时候关闭redis，执行shutdown :8.74s启动redis加载数据时间：DB loaded from append only file: 3.727 seconds

3、仍然通过cat data.txt | redis-cli --pipe方式，向redis内存添加测试数据
这时redis内存情况：
used_memory:3426856328
used_memory_human:3.19G
used_memory_rss:3472187392
used_memory_peak:3460409832
used_memory_peak_human:3.22G
持久化文件大小：appendonly.aof:4.2G   dump.rdb:1.5G
这时候重启redis：执行shutdown：34.90s，
启动：DB loaded from append only file: 23.425 seconds

（a）、redis-benchmark -n 100000 -c 20 -d 256
插入速度最高是的命令SADD：57142 request/s,其它命令基本都在5W以上，只有LRANGE取前100条的时候15037 request/s，其取的条数越多，效率急速下降
（b）、redis-benchmark -n 100000 -c 20 -d 1024
插入速度最高是的命令SADD：56179 request/s,其它命令略有下降，只有LRANGE取前100条的时候5396 request/s，其取的条数越多，效率急速下降

执行完后：
used_memory:3596452760
used_memory_human:3.35G
used_memory_rss:3663298560
used_memory_peak:3694021168
used_memory_peak_human:3.44G

执行完aof：5.9G
shutdown:33.91s
启动：DB loaded from append only file: 20.189 seconds

4、在不开启任何持久化的情况下:
（a）、redis-benchmark -n 100000 -c 20 -d 256
cpu使用 15.3%
性能最高的命令INCR：67114 request/s, SADD:57471 request/s, 其它命令出LRANGE外基本都在5W request/s以上，Lrange取前100条14409request/s。随着条数的变大，性能急速下降

（b）、redis-benchmark -n 100000 -c 20 -d 1024
cpu最高使用率16.9%
插入性能最高INCR：57803 request/s, SADD:57142 request/s, 其它命令出LRANGE外基本都在5W request/s以上，比发送256B字节的时候略低一点点。LRANGE取前100条5956 request/s。
随着条数的变大，性能急速下降

5：开启aof和rdb持久化的情况下监控CPU的使用情况
redis内存情况
used_memory:3633251800
used_memory_human:3.38G
used_memory_rss:3692384256
used_memory_peak:3672120888
used_memory_peak_human:3.42G
aof：6.3G
（a）、redis-benchmark -n 100000 -c 20 -d 256
插入性能最高的命令SADD：57142  request/s, 其它命令出LRANGE外基本都在5W request/s以上，Lrange取前100条14409request/s。随着条数的变大，性能急速下降
cpu使用了最高20%

（b）、redis-benchmark -n 100000 -c 20 -d 1024
插入性能最高的命令SADD：57803  request/s, 其它命令出LRANGE外基本都在5W request/s以上，Lrange取前100条5518request/s。随着条数的变大，性能急速下降
cpu 16.9%


Redis——Redis持久化原理
庄小焱
03-29 2070
Redis 的读写都是在内存中，所以它的性能较高，但在内存中的数据会随着服务器的重启而丢失，为了保证数据不丢失，我们需要将内存中的数据存储到磁盘，以便 Redis 重启时能够从磁盘中恢复原有的数据，而整个过程就叫做 Redis 持久化。Redis 持久化也是 Redis 和 Memcached 的主要区别之一，因为 Memcached 不具备持久化功能。
Redis—高可用、持久化及性能管理
jiaoshu__的博客
08-09 2007
文章目录一、Redis高可用1.1Redis高可用概述1.2Redis高可用的技术二、Redis持久化2.1持久化的功能2.2redis提供的两种持久化方法三、RDB持久化3.1RDB持久化概述3.2触发条件3.2.1手动触发3.2.2自动触发3.2.3其他自动触发机制3.3执行流程 一、Redis高可用 1.1Redis高可用概述 在web服务器中，高可用是指服务器可以正常访问的时间，衡量标准是在多长时间内可以提供正常服务（99.9%、99.99%、99.999%） 在Redis语法中，高可用的含义
Redis 持久化、复制、性能
leedsjung的博客
03-19 551
1、持久化Persistence：Persistence: Know your options when configuring Redis' durability.两种方式：快照Snapshotting：将某一时刻的所有内存数据存储到硬盘通常rdb文件指的是快照文件（redis database）只追加文件AOF：当执行【写命令】时，将写命令追加到硬盘。两者的区别：快照方式，两次备份间隔通常超过...
Redis数据库：持久化策略与性能管理
十七拾的博客
04-03 1377
本文主要介绍redis数据库的持久化策略及性能管理，详细阐释了RDB持久化和AOF持久化，以及内回收策略，还有Redis缓存穿透、击穿、雪崩问题，希望对你有帮助！
高性能持久消息
最佳 Java 编程
05-13 190
总览 尽管有许多可用于Java的高性能消息传递系统，但大多数都避免引用基准，包括持久消息传递和消息的序列化/反序列化。 这样做有很多原因。 1）您并不总是需要或想要持久消息2）您希望使用自己的序列化选项。 避免使用它们的一个重要原因是，这两种方法都会使消息传递速度降低多达10倍，看起来并不那么好。 大多数消息传递基准测试都会突出显示传递原始字节而没有持久性的性能，因为这提供了最高的数字。 有...
【Redis持久化及性能管理】
zhangyuanzhangy的博客
06-19 548
从redis非关系型数据库而言，除了保证提供正常服务(如主从分离、快速容灾技术)，还需要考虑数据容量的扩展，数据安全不会丢失等；那么实现高可用的技术主要包括持久化、主从复制、哨兵和集群主要作用是数据备份，即把数据保存在一个位置或者磁盘中主从复制是高可用Redis的基础，主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复 缺陷 故障恢复无法自动化写操作无法负载均衡 单机的原因限制了存储能力需要在主从复制的基础上实现自动化的故障恢复 缺陷 写操作无法实现负载均衡 单机的原因限制了存储能力
Redis windows 测试redis持久化功能1
08-08
Redis 是一个高性能的键值数据库，广泛应用于缓存、数据持久化等场景。在 Windows 上测试 Redis 的持久化功能，主要是确保数据在系统重启或异常情况后能够被正确地保存和恢复。以下将详细介绍如何在 Windows 环境下...
02-Redis持久化、主从与哨兵架构详解.zip
11-18
Redis是一款高性能的键值对内存数据库，常用于缓存、消息队列以及数据持久化等场景。本资料包主要探讨Redis的三个核心概念：持久化、主从复制和哨兵架构，这些都是确保Redis高可用性和数据安全的重要机制。 首先，...
Redis 持久化策略
2201_75456895的博客
06-21 1158
Redis 提供了多种持久化机制，用于将数据保存到磁盘中，以防止因服务器重启或故障而导致的数据丢失。主要的持久化策略有两种：RDB (Redis Database) 和 AOF (Append Only File)，即当 Redis 服务器重新启动时，会读取相应的文件，来还原上次退出时的数据；
Redis 持久化
WSK1454360679的博客
04-21 1135
Redis 持久化机制主要有RDB和AOF两种。
Redis的AOF持久化测试
Howinfun的博客
01-08 777
AOF文件： 上面已经多次讲过，RDB的快照定时dump机制无法保证很好的数据持久性。如果我们的应用确实非常关注此点，我们可以考虑使用Redis中的AOF机制。对于Redis服务器而言，其缺省的机制是RDB，如果需要使用AOF，则需要修改配置文件中的以下条目： 将appendonly no改为appendonly yes 从现在起，Redis在每一次接收到数据修改的命令之后，都会将其追加到A
Redis主从持久化测试
weixin_33770878的博客
11-26 139
1:redis主从环境，均未开启持久化； 当主实例宕机，从实例上的数据不受影响； 当主恢复后，主实例上的数据将会继续同步到从实例，即原来的值将变为空值； [root@server11 ~]# /usr/local/redis2/bin/redis-cli -h 192.168.1.112 -a 123 info |grep -A 3 'Replicat...
面试中经常被问到的 Redis 持久化与恢复
weixin_33845881的博客
03-25 210
本文主要讲了 Redis 的持久化相关功能，持久化一直是影响 Redis 性能的高发地，也是面试中经常被问到的。包括 RDB 相关的特定和优缺点，AOF 的优缺点，事实上，由于 RDB 的数据实时性问题，目前用 AOF 比较多了。而持久化恢复也是优先 AOF。RDB 是旧的模式，现在基本上都使用 AOF。当然，两个都会一起说到。RDBRDB 流程图RDB 特点RDB 是一种快照模式，即——保存的是...
Redis RDB持久化和AOF持久化及恢复测试
wejack的专栏
01-29 1973
Redis Rdb Aof 恢复 RDB恢复 虚拟机搭建cachecloud测试服务参考文档：https://blog.youkuaiyun.com/wejack/article/details/120569162 现在通过cachecloud创建一个测试集群，测试rdb和aof的备份与恢复 通过连接节点服务，可以查看到缓存实例备份文件的目录为 /opt/cachecloud/data >redis-cli -h 10.4.7.212 -p 6450 10.4.7.212:6450> auth 84ee
Redis 学习笔记六：持久化实验(AOF,RDB)
Practitioner
11-08 296
作者：Grey原文地址：博客园：Redis 学习笔记六：持久化实验(AOF,RDB)优快云：Redis 学习笔记六：持久化实验(AOF,RDB)AOF方式：https://blog.youkuaiyun.com/ctwctw/article/details/105173842RDB方式：https://blog.youkuaiyun.com/ctwctw/article/details/105265689对比：https://blog.youkuaiyun.com/ctwctw/article/details/105147277安装Redi
Redis高可用、持久化及性能管理
weixin_67582338的博客
07-05 836
目录一、Redis 高可用主要的高可用技术（1）持久化：（2）主从复制：（3）哨兵：（4）集群：二、Redis 持久化1、持久化的功能2、Redis提供两种方式进行持久化3、RDB 和 AOF 的区别3.1 RDB3.2 AOF3.3 RDB和AOE同时使用三、RDB 持久化1、触发条件1.1 手动触发1.2 自动触发1.3 其他自动触发机制2、执行流程3、启动时加载四、AOF 持久化1、开启AOF2、执行流程2.1 命令追加 (append)2.2 文件写入(write) 和文件同步 (sync)2.3
redis 02：Redis的持久化
热门推荐
严老板的技术梦想博客
01-13 1万+
一、redis的持久化机制 就是在指定的时间间隔内，将内存当中的数据集快照写入磁盘，它恢复时是将快照文件直接读到内存 什么意思呢？我们都知道，内存当中的数据，如果我们一断电，那么数据必然会丢失，但是玩过redis的同学应该都知道，我们一关机之后再启动的时候数据是还在的，所以它必然是在redis启动的时候重新去加载了持久化的文件 二、redis提供两种方式进行持久化 一种是RDB持久化默认， 另外一...
redis使用持久化的性能建议
qq_42914232的博客
09-10 959
redis两种持久化方式（aof和rdb）的性能建议
Redis持久化方式及性能评估
WannaRunning的博客
03-16 367
目录 Redis的持久化方式分为两种（RDB和AOF） 1.RDB文件存储 触发RDB方式持久化的方式： RDB方式的一些缺点： 2.AOF AOF三种存储策略： Redis的持久化方式分为两种（RDB和AOF） 1.RDB文件存储 RDB存储就是把redis的快照进行存储，生成一个RDB文件，在redis启动时会自动加载数据到redis中；默认的文件名称为 dump.r...
redis持久化怎么测试
最新发布
08-09
### 三级标题：如何测试 Redis 的持久化功能（RDB 和 AOF） Redis 提供了两种主要的持久化机制：RDB（Redis Database）和 AOF（Append Only File），用于将内存中的数据保存到磁盘中，从而在服务重启或崩溃时恢复数据。为了验证持久化功能是否正常工作，可以通过以下方式进行测试。 #### 1. RDB 持久化测试方法 RDB 持久化通过快照方式将数据保存到磁盘文件中，通常用于大规模数据恢复场景。测试时可以手动触发 `SAVE` 或 `BGSAVE` 命令，观察是否生成 `.rdb` 文件并验证数据是否正确恢复。 - **手动触发 RDB 快照**： ```bash redis-cli save ``` 该命令会阻塞 Redis 主进程，直到 RDB 文件写入完成。另一种非阻塞方式是使用 `BGSAVE`： ```bash redis-cli bgsave ``` 该命令会在后台创建子进程进行持久化操作，不会影响主进程响应请求。 - **验证 RDB 文件生成**： 检查 Redis 配置文件中定义的 `dir` 和 `dbfilename` 参数，确认 RDB 文件的保存路径和文件名。例如： ```bash dir /usr/local/redis/data dbfilename dump.rdb ``` 在执行 `BGSAVE` 后，检查指定目录是否生成 `dump.rdb` 文件。 - **模拟重启验证数据恢复**： 关闭 Redis 服务后重新启动，检查数据是否从 RDB 文件中正确加载。使用 `redis-cli keys *` 查看所有键值，确认数据是否完整。 #### 2. AOF 持久化测试方法 AOF 持久化通过记录所有写操作命令来实现数据持久化，适合对数据完整性要求较高的场景。测试 AOF 功能时，需要启用 AOF 并观察日志文件的生成和内容。 - **启用 AOF 持久化**： 在 `redis.conf` 中设置以下参数以启用 AOF： ```conf appendonly yes appendfilename "appendonly.aof" ``` 可以选择不同的同步策略（如 `appendfsync always`、`appendfsync everysec`、`appendfsync no`）以平衡性能和数据安全性。 - **验证 AOF 文件生成**： 执行写操作后，检查 `appendonly.aof` 文件是否生成，并查看其内容是否包含对应的 Redis 命令。例如： ```bash redis-cli set test_key "value" ``` 打开 `appendonly.aof` 文件，应能看到类似 `*3\r\n$3\r\nSET\r\n$7\r\ntest_key\r\n$5\r\nvalue\r\n` 的 Redis 协议内容。 - **测试 AOF 重写**： AOF 会定期进行重写以压缩文件体积。可以手动触发 AOF 重写命令： ```bash redis-cli bgrewriteaof ``` 该命令会创建子进程进行 AOF 文件重写，确保不影响主进程性能。 - **模拟重启验证 AOF 恢复**： 关闭 Redis 服务并重新启动，确保 AOF 文件被正确加载。使用 `redis-cli info persistence` 查看 AOF 加载状态。 #### 3. 持久化性能与稳定性测试 - **测试持久化对性能的影响**： 在高并发写入场景下，启用 RDB 或 AOF 持久化会对性能产生影响。可以通过 `redis-benchmark` 工具模拟高并发写操作，观察吞吐量变化： ```bash redis-benchmark -n 100000 -c 50 SET test_key value ``` - **测试持久化失败处理机制**： 如果 `BGSAVE` 执行失败，Redis 可以通过配置项 `stop-writes-on-bgsave-error yes` 阻止写操作，以避免数据丢失。可以手动模拟 `BGSAVE` 失败（如磁盘空间不足），观察 Redis 是否阻止写入操作。 - **测试 RDB 和 AOF 同时启用的情况**： 在生产环境中，通常建议同时启用 RDB 和 AOF 以提高数据可靠性。测试时确保两者配置正确，并验证在重启时优先使用 AOF 文件进行恢复。 --- ###
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值