redis的原理分析-redis是如何持久化的?

Redis持久化详解
本文深入解析Redis的两种持久化方式:RDB和AOF。RDB通过快照定期保存内存数据,适合大规模数据恢复;AOF记录每个写命令,确保数据完整性。文章详细介绍了两种方式的优缺点、配置及实现原理。

redis支持两种方式的持久化,一种是RDB方式,一种是AOF方式,前者会根据指定的规则定时将内存中的数据存储到硬盘上。而后者在每次执行命令后讲命令本身记录下来,两种持久化方式可以单独使用其中的一种,也可以把这两种方式结合使用。

RDB方式

当符合一定条件时,redis会单独创建(fork)一个子进程来执行持久化,会先将数据写入到一个临时文件中,等到持久化过程都结束了,再用这个临时文件替换上次的持久化文件,整个过程中是不进行任何IO操作的,这就确保了极高的性能,如果需要进行大规模数据的恢复,并且对数据恢复的完整性不是非常敏感,那RDB方式要比AOF更加高效,RDB的缺点就是最后一次持久化的数据可能丢失

--fork的作用是复制一个与当前进程一样的进程,新进程的所有数据(环境变量,变量,程序计数器等)数值都和原来进程一养,但是是一个全新的进程,并且为原进程的子进程。

redis会在以下几种情况下对数据进行快照:

1.根据配置规则进行自动快照

2.用户执行save或者gbsave命令

3.执行flushall命令

4.执行复制replication时

根据配置规则进行自动快照

redis允许用户自定义快照条件,当符合快照条件时,redis会自动执行快照操作,快照的条件可以由用户早配置文件中配置,格式如下:

save

第一个参数是时间窗口,第二个是键的个数,也就是说,在第一个时间参数配置范围内被更改的键的个数大于后面的changes时,就是符合快照的条件,redis默认了配置了三个规则

save 900 1

save 300 10

save 60 10000

每条快照规则占一行,每条规则之间是或的关系,在900秒之内有一个以上的键被更改则进行快照。

用户执行save或者gbsave命令

除了让Redis自动进行快照以外,当我们对服务进行重启或者服务器迁移我们需要人工去干预备份。redis提供了两
条命令来完成这个任务

1.save命令

当执行save命令时,redis同步做快照操作,在快照执行过程中会阻塞所有来自客户端的请求,当redis内存中的数量较多时,通过这个命令会导致redis长时间不响应,所以不推荐使用,推荐使用bgsave

2.bgsave命令

bgsave命令可以再后台异步的进行快照操作,快照的同时服务器还可以继续响应客户端的请求,执行bgsave后,redis会立即返回ok表示开始执行快照操作

通过lastsave命令可以获取最近一次成功执行快照的时间。(自动快照采用的是异步快照操作)

执行flushall命令

该命令在前面讲过,会清除redis在内存中的所有数据。执行该命令后,只要redis中配置的快照规则不为空,也就
是save 的规则存在。redis就会执行一次快照操作。不管规则是什么样的都会执行。如果没有定义快照规则,就不
会执行快照操作

执行复制时

该操作主要是在主从模式下,redis会在复制初始化时进行自动快照。这里只需要了解当执行复制操作时,及时没有定义自动快照规则,并且没有手动执行过快照操作,它仍然会生成RDB快照文件

AOF方式

AOF的开启

默认情况下redis没有开启AOF方式的持久化,可以通过appendonly参数启用,在redis.conf中找到appendonly yes

开启AOF持久化后每执行一条会更改redis中的数据的命令后,redis就会将该命令写入到硬盘中的AOF文件中,AOF文件的保存位置和RDB文件的位置相同,都是通过dir参数设置的,默认的文件名是apendonly.aof,可以再redis.conf中属性appendfilename appendonlyh.aof处修改

AOF的实现

AOF文件已纯文本的形式记录redis执行的写命令,例如开启AOF持久化情况下执行如下4条命令

set foo 1

set foo 2

set foo 3

get

redis会将前3条命令写入到AOF文件中,通过vim的方式,可以看到aof文件中的内容

我们会发现AOF文件的内容正是redis发送的原始通信协议的内容,从内容中我们发现redis只记录了3条命令,然后这时有一个问题是前面2条命令其实是冗余的,因为这两条的执行结果都会被第三条命令覆盖,随着执行的命令越来越多,AOF文件也越来越大,其实内存中实际的数据可能没有多少,那这样就会造成磁盘空间以及redis数据还原的过程比较长的问题,因此我们希望redis可以自动优化AOF文件,就上面这个例子来说,前面两条是可以被删除的,而实际上redis也考虑到了,可以配置一个条件,每当达到一定条件时,redis就会自动重写AOF文件,这个条件的配置位

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size 64mb

auto-aof-rewrite-percentage 表示的是当目前的AOF文件大小超过上一次重写时的AOF文件大小的百分之多少时会
再次进行重写,如果之前没有重写过,则以启动时AOF文件大小为依据

auto-aof-rewrite-min-size 表示限制了允许重写的最小AOF文件大小,通常在AOF文件很小的情况下即使其中有很
多冗余的命令我们也并不太关心。

另外,还可以通过bgrewriteaof 命令手动执行AOF,执行完以后冗余的命令已经被删除了

在启动时,redis会逐个执行AOF文件中的命令来将硬盘中的数据载入到内存中,载入的速度相对于RDB会慢一些

AOF的重写原理

redis可以再AOF文件体积变得过大时,自动的在后台对AOF文件进行重写:重写后的新AOF文件包含了恢复当前数据集所需的最小命令集合。

 

重写的流程是这样的:主进程会fork一个子进程出来进行AOF重写,这个重写过程并不是基于原来的AOF文件来做的,而是有点类似于快照的方式,全量遍历内存中的数据,然后逐个序列化到AOF文件中。在fork子进程这个过程中,服务端仍然可以对外提供服务。

那这个时候重写的aof文件的数据和redis内存数据不一致了?这个过程中,主进程的数据更新操作,会缓存到aof_rewrite_buf文件中,也就是单独开辟一块缓存来存储重写期间收到的数据,当子进程重写完以后,再把单独开辟的缓存数据追加到新的aof文件中。

当所有的数据全部追加到新的aof文件中后,把新的aof文件重命名,此后所有的操作都会被写入新的aof文件。如果在rewrite过程中出现故障,不会影响原来aof文件的正常工作,只有当rewrite完成后才会切换文件。因此这个rewrite过程是比较可靠的。

 

 

 

 

 

 

 

 

 

 

 

 

以下是针对 **Redis分布式缓存领域20道高频面试题** 的标准面试答案详解,内容符合中高级Java开发工程师在真实技术面试中的表达规范:逻辑清晰、原理深入、关键词突出、语言专业。每道题均包含 **核心概念 + 实现机制 + 应用场景 + 注意事项**,便于应试者精准作答。 --- ### 1. Redis的数据类型? Redis支持五种基本数据类型和三种扩展类型: | 数据类型 | 说明 | 典型应用场景 | |---------|------|---------------| | **String(字符串)** | 最基础类型,可存储文本、数字、序列化对象 | 缓存、计数器、分布式锁 | | **Hash(哈希)** | 键值对集合,适合存储对象属性 | 用户信息、商品详情 | | **List(列表)** | 有序可重复队列,支持双向插入删除 | 消息队列、最新消息排行 | | **Set(集合)** | 无序不重复元素集合 | 好友关系、标签去重 | | **ZSet(有序集合)** | 带分数的Set,按分值排序 | 排行榜、延迟任务 | | **Bitmaps** | 位数组操作 | 用户签到、活跃统计 | | **HyperLogLog** | 基数估算结构 | UV统计(误差率<0.81%) | | **Geospatial(GEO)** | 地理位置坐标存储与计算 | 附近的人、距离计算 | ```java // Java示例(使用Jedis) jedis.set("name", "Tom"); jedis.hset("user:1", "name", "Jerry"); jedis.lpush("msg_queue", "task1"); ``` > ✅ 所有操作都是原子性的,天然适合高并发场景 --- ### 2. Redis持久化机制? Redis提供两种持久化方式保障数据安全: #### (1)RDB(Redis Database) - **原理**:定时生成数据集的时间点快照(Snapshot) - **触发方式**: - 配置自动触发:`save 900 1`(900秒内至少1次修改) - 手动执行:`SAVE`(阻塞)、`BGSAVE`(fork子进程异步保存) - **优点**:文件紧凑、恢复快、适合备份 - **缺点**:可能丢失最后一次快照后的数据 #### (2)AOF(Append Only File) - **原理**:记录每条写命令日志,重启时重放重建数据 - **同步策略**: - `appendfsync always`:每次写都刷盘(最安全,性能差) - `appendfsync everysec`:每秒刷盘(推荐,默认) - `appendfsync no`:由操作系统决定 - **优点**:数据完整性高,可读性强 - **缺点**:文件大,恢复慢 > ✅ 生产建议:**同时开启RDB+AOF**,兼顾性能与可靠性 --- ### 3. Redis的主从复制原理? 主从复制用于实现数据冗余、读写分离和故障转移。 #### 工作流程: 1. **建立连接**: - 从节点配置 `slaveof <masterip> <port>` 或使用 `REPLICAOF` - 发送PING确认主节点可达 2. **全量同步(Full Resynchronization)**: - 主节点执行 `BGSAVE` 生成RDB - 将RDB文件发送给从节点 - 从节点清空旧数据并加载RDB 3. **增量同步(Partial Resynchronization)**: - 主节点将后续写命令写入**复制积压缓冲区(Replication Backlog)** - 从节点通过偏移量(offset)请求缺失命令 - 使用PSYNC命令进行增量传输 #### 关键组件: - **run_id**:主节点唯一标识 - **replication offset**:复制流的字节偏移量 - **repl_backlog_buffer**:环形缓冲区,默认1MB > ✅ 支持级联复制(主→从→从),减少主库压力 --- ### 4. Redis的哨兵机制? **Sentinel(哨兵)** 是Redis的高可用解决方案,监控主从集群并在主节点宕机时自动切换。 #### 核心功能: - **监控(Monitoring)**:持续检查主从节点是否正常 - **通知(Notification)**:异常时发送告警 - **故障转移(Failover)**:主节点失败后提升一个从节点为新主 - **配置中心(Configuration Provider)**:客户端可通过哨兵获取最新主节点地址 #### 故障转移流程: 1. 多个哨兵对主节点进行主观下线判断 2. 达到法定数量(quorum)后标记为客观下线 3. 选举领导者哨兵执行failover 4. 选择优先级最高的从节点升级为主 5. 更新其他从节点指向新主 6. 对外广播新的主节点地址 ```bash # sentinel.conf 示例 sentinel monitor mymaster 127.0.0.1 6379 2 sentinel down-after-milliseconds mymaster 5000 sentinel failover-timeout mymaster 15000 ``` > ✅ 至少部署3个哨兵节点,避免脑裂问题 --- ### 5. Redis的集群模式? **Redis Cluster** 是官方提供的分布式方案,支持数据分片和高可用。 #### 核心特性: - **数据分片**:16384个哈希槽(hash slot),每个key通过CRC16算法映射到槽 - **节点通信**:使用Gossip协议传播节点状态 - **高可用**:每个主节点可配多个从节点,主故障时从节点接管 - **客户端路由**:客户端直接连接任意节点,收到MOVED或ASK重定向 #### 架构要求: - 至少6个节点(3主3从) - 所有节点两两互通(ping/pong消息) ```bash # 创建集群 redis-cli --cluster create 127.0.0.1:7000 ... --cluster-replicas 1 ``` > ✅ 不支持多数据库(SELECT db不可用),仅支持db0 --- ### 6. Redis的缓存穿透、缓存击穿、缓存雪崩? | 问题 | 定义 | 解决方案 | |------|------|----------| | **缓存穿透** | 查询不存在的数据,绕过缓存直击数据库 | 1. 缓存空值(设置短TTL)<br>2. 使用布隆过滤器预判是否存在 | | **缓存击穿** | 热点key过期瞬间大量请求涌入数据库 | 1. 设置永不过期或逻辑过期<br>2. 加互斥锁(如Redis分布式锁) | | **缓存雪崩** | 大量key在同一时间过期导致数据库压力激增 | 1. 过期时间加随机值(如TTL+30min±5min)<br>2. 多级缓存架构<br>3. 高可用集群部署 | > ✅ 防御原则:不让请求直接打到数据库 --- ### 7. 如何解决Redis的并发竞争? 并发竞争指多个客户端同时修改同一key,可能导致数据覆盖。 #### 解决方案: 1. **分布式锁(推荐)** ```java // 使用SETNX实现锁 Boolean locked = jedis.setnx("lock:update_user", "1"); if (locked) { jedis.expire("lock:update_user", 10); // 执行业务逻辑 jedis.del("lock:update_user"); } ``` 2. **Lua脚本保证原子性** ```lua -- 原子递增并限制最大值 local current = redis.call("GET", KEYS[1]) if not current or tonumber(current) < 100 then return redis.call("INCR", KEYS[1]) else return 0 end ``` 3. **消息队列串行化处理** - 将更新请求放入MQ,单消费者顺序处理 > ✅ 推荐:Redisson等框架封装的公平锁更可靠 --- ### 8. Redis的事务机制? Redis事务通过 `MULTI` / `EXEC` 实现一组命令的批量执行。 #### 特性: - **不支持回滚**:即使某条命令失败,其余命令仍会继续执行 - **原子性**:所有命令一次性提交(但非传统意义上的ACID事务) - **隔离性**:事务执行期间不会被其他命令打断 ```bash MULTI SET name Tom INCR age EXEC ``` #### 局限性: - 无法捕获语法错误以外的运行时错误 - 不支持条件判断和循环 > ✅ 替代方案:使用Lua脚本实现复杂原子操作 --- ### 9. Redis的发布订阅机制? Pub/Sub模型实现进程间消息通信。 ```bash # 订阅频道 SUBSCRIBE news # 发布消息 PUBLISH news "Hello World" # 查看订阅者数量 PUBSUB NUMSUB news ``` #### 特点: - 实时性强,低延迟 - 消息不持久化,离线消息丢失 - 不保证送达(fire-and-forget) > ✅ 适用场景:实时通知、聊天室 > ⚠️ 不适用于需要可靠传递的消息系统(建议用Kafka/RocketMQ) --- ### 10. Redis的Lua脚本使用? Lua脚本可在Redis服务端原子执行复杂逻辑。 #### 示例:实现带过期时间的限流器 ```lua local key = KEYS[1] local limit = tonumber(ARGV[1]) local expire_time = ARGV[2] local current = redis.call('GET', key) if current and tonumber(current) > limit then return 0 else redis.call('INCRBY', key, 1) redis.call('EXPIRE', key, expire_time) return 1 end ``` 调用方式: ```java jedis.eval(luaScript, 1, "rate_limit:user_123", "100", "60"); ``` > ✅ 优势:网络开销小、原子性强、减少多次往返 --- ### 11. Redis的内存淘汰策略? 当内存达到 `maxmemory` 限制时触发淘汰策略: | 策略 | 说明 | |------|------| | `noeviction` | 默认,内存不足时报错 | | `allkeys-lru` | 淘汰最近最少使用的任意key | | `volatile-lru` | 仅淘汰设置了过期时间的key中LRU的 | | `allkeys-random` | 随机淘汰任意key | | `volatile-random` | 随机淘汰带过期时间的key | | `volatile-ttl` | 优先淘汰剩余时间最短的key | | `allkeys-lfu` | 淘汰最不经常使用(Least Frequently Used)的key(Redis 4.0+) | ```conf maxmemory 2gb maxmemory-policy allkeys-lru ``` > ✅ 推荐:缓存场景用 `allkeys-lru`,有明确过期策略可用 `volatile-*` --- ### 12. Redis的Pipeline机制? Pipeline用于批量发送命令,减少网络RTT开销。 ```java // 传统方式:N次往返 for (int i = 0; i < 1000; i++) { jedis.set("key:" + i, "value:" + i); } // Pipeline:一次往返 try (Pipeline pipeline = jedis.pipelined()) { for (int i = 0; i < 1000; i++) { pipeline.set("key:" + i, "value:" + i); } pipeline.sync(); // 执行并等待响应 } ``` > ✅ 性能提升显著(特别是跨机房调用),但注意不能保证原子性 --- ### 13. Redis的布隆过滤器? 布隆过滤器是一种空间效率极高的概率型数据结构,用于判断元素是否存在。 #### 原理- 使用多个哈希函数将元素映射到位数组 - 查询时所有位均为1 → 可能存在;任一位为0 → 一定不存在 - 存在误判率(可调),但不会漏判 ```bash # 使用RedisBloom模块 BF.ADD user_filter "user1001" BF.EXISTS user_filter "user1001" # 返回1 BF.EXISTS user_filter "user9999" # 可能返回1(误判) ``` > ✅ 应用:防止缓存穿透、垃圾邮件识别、爬虫URL去重 --- ### 14. Redis的分布式锁实现? 基于 `SETNX` + `EXPIRE` 实现简单分布式锁: ```java public boolean tryLock(String key, String value, int expireSec) { String result = jedis.set(key, value, "NX", "EX", expireSec); return "OK".equals(result); } public void unlock(String key, String value) { String script = "if redis.call('get', KEYS[1]) == ARGV[1] then " + "return redis.call('del', KEYS[1]) else return 0 end"; jedis.eval(script, 1, key, value); } ``` #### 改进方案(Redisson): ```java RLock lock = redisson.getLock("business_lock"); lock.lock(); // 自动续期(watchdog机制) try { // 业务逻辑 } finally { lock.unlock(); } ``` > ✅ 注意事项: - 必须设置超时防止死锁 - 解锁需校验value防止误删 - 推荐使用Redisson等成熟框架 --- ### 15. Redis持久化方式对比? | 对比项 | RDB | AOF | |--------|-----|-----| | 文件大小 | 小(压缩二进制) | 大(日志文本) | | 恢复速度 | 快 | 慢 | | 数据安全性 | 可能丢失最后一次快照后数据 | 更高(最多丢失1秒) | | 写性能影响 | BGSAVE时有影响 | appendfsync策略决定 | | 可读性 | 二进制,不可读 | 文本,可读可追加 | | 适用场景 | 备份、灾难恢复 | 数据完整性要求高的系统 | > ✅ 最佳实践:**双开**,RDB做定期备份,AOF保障在线数据安全 --- ### 16. Redis的高可用方案? 常见高可用架构: | 方案 | 说明 | |------|------| | **主从复制 + 哨兵(Sentinel)** | 自动故障检测与切换,适合中小规模 | | **Redis Cluster** | 官方分片集群,自带高可用和负载均衡 | | **Codis / Twemproxy** | 中间件方案,支持大规模集群管理 | | **云托管Redis** | 如阿里云Redis、AWS ElastiCache,平台级保障 | > ✅ 推荐组合:Cluster用于大数据量,Sentinel用于小集群 --- ### 17. Redis的性能优化技巧? #### 关键优化点: 1. **合理选择数据结构**:用Hash代替多个String存储对象 2. **禁用危险命令**:`KEYS *` → 改用 `SCAN` 3. **启用Pipeline**:批量操作减少网络开销 4. **控制Key大小**:避免大Key(>10KB)导致阻塞 5. **设置合理的过期时间**:防止内存无限增长 6. **使用连接池**:HikariCP/Redisson优化客户端资源 7. **监控慢查询**:`slowlog get` 分析耗时命令 8. **调整TCP参数**:`tcp-keepalive` 保持长连接 > ✅ 工具推荐:`redis-benchmark` 压测,`redis-cli --stat` 实时监控 --- ### 18. Redis的热点数据处理? 热点数据是指访问频率极高的Key,可能导致单节点压力过大。 #### 解决方案: 1. **本地缓存 + Redis二级缓存** ```java Object data = localCache.get(key); if (data == null) { data = jedis.get(key); localCache.put(key, data, 10); // TTL=10s } ``` 2. **Key拆分(影子Key)** - 将 `hotkey` 拆为 `hotkey::1`, `hotkey::2`... - 随机访问其中一个,分散压力 3. **客户端缓存(Client Side Caching)** - Redis 6.0+支持tracking模式,允许客户端缓存数据 4. **多级缓存架构** - Nginx层 → Local Cache → Redis → DB > ✅ 核心思想:把流量挡在Redis之外 --- ### 19. Redis与Memcached的区别? | 对比维度 | Redis | Memcached | |---------|--------|-----------| | 数据类型 | 支持丰富类型(String/Hash/ZSet等) | 仅支持String | | 持久化 | 支持RDB/AOF | 不支持 | | 集群 | 原生Cluster支持 | 需第三方工具 | | 线程模型 | 单线程(6.0+网络IO多线程) | 多线程 | | 内存管理 | jemalloc,碎片较少 | slab分配器 | | 分布式 | 客户端分片或Cluster | 客户端一致性哈希 | | 高可用 | 支持主从、哨兵、Cluster | 无内置HA机制 | | 功能扩展 | 支持Lua、Pub/Sub、事务、GEO等 | 功能较单一 | > ✅ 推荐:现代应用优先选用Redis,除非追求极致吞吐且无需持久化 --- ### 20. Redis持久化恢复机制? Redis启动时根据配置自动恢复数据: #### 恢复流程: 1. 如果启用了AOF且AOF文件存在: - 优先加载AOF文件(数据更完整) - 逐条重放写命令重建数据 2. 否则: - 加载最新的RDB快照文件 - 恢复当时的数据状态 #### 注意事项: - AOF重写不影响恢复过程(只保留最终状态) - 若RDB和AOF都关闭,则启动为空实例 - 可通过 `INFO persistence` 查看持久化状态 ```bash # 强制生成RDB BGSAVE # 修复损坏的AOF redis-check-aof --fix appendonly.aof ``` > ✅ 生产环境务必开启持久化,并定期验证dump文件可用性 ---
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值