redis过期机制原理

  本文对Redis的过期机制简单的讲解一下
  讲解之前我们先抛出一个问题,我们知道很多时候服务器经常会用到redis作为缓存,有很多数据都是临时缓存一下,可能用过之后很久都不会再用到了(比如暂存session,又或者只存放日行情股票数据)那么就会出现一下几个问题了

  1. Redis会自己回收清理不用的数据吗?
  2. 如果能,那如何配置?
  3. 如果不能,如何防止数据累加后大量占用存储空间的问题?

  之前一直接触Redis不是很深入,最近项目当中遇到一个需求场景,需要清空一些存放在Redis的数据,主要是通过一些时间进行过滤,删除那些不满足的数据,但是这样的工作每天都需要进行,那工作量就比较大了,而且每天都需要按时去手动清理,这样做也不切实际,后面发现Redis中有个设置时间过期的功能,即对存储在Redis数据库中的值可以设置一个过期时间。作为一个缓存数据库,这是非常实用的。这就是我们本文要讲到的Redis过期机制。其实这个机制运用的场景十分广泛,比如我们一般项目中的token或者一些登录信息,尤其是短信验证码都是有时间限制的,或者是限制请求次数,如果按照传统的数据库处理方式,一般都是自己判断过期,这样无疑会严重影响项目性能。

一、设置过期时间

  Redis对存储值的过期处理实际上是针对该值的键(key)处理的,即时间的设置也是设置key的有效时间。Expires字典保存了所有键的过期时间,Expires也被称为过期字段。

  • expire key time(以秒为单位)--这是最常用的方式
  • setex(String key, int seconds, String value)--字符串独有的方式

注:
  1、除了字符串自己独有设置过期时间的方法外,其他方法都需要依靠expire方法来设置时间
  2、如果没有设置时间,那缓存就是永不过期
  3、如果设置了过期时间,之后又想让缓存永不过期,使用persist key

1、常用方式

一般主要包括4种处理过期方,其中expire都是以秒为单位,pexpire都是以毫秒为单位的。

1 EXPIRE key seconds  //将key的生存时间设置为ttl秒
2 PEXPIRE key milliseconds  //将key的生成时间设置为ttl毫秒
3 EXPIREAT key timestamp  //将key的过期时间设置为timestamp所代表的的秒数的时间戳
4 PEXPIREAT key milliseconds-timestamp  //将key的过期时间设置为timestamp所代表的的毫秒数的时间戳

备注:timestamp为unix时间戳(例如:timestamp=1499788800 表示将在2017.07.12过期)
1、2两种方式是设置一个过期的时间段,就是咱们处理验证码最常用的策略,设置三分钟或五分钟后失效,把分钟数转换成秒或毫秒存储到Redis中。 
3、4两种方式是指定一个过期的时间 ,比如优惠券的过期时间是某年某月某日,只是单位不一样。

下面我们就以EXPIREAT为例子简单讲解下用法。

返回值

一个整数值1或0,如下:

  • 如果成功地为该键设置了超时时间,返回 1
  • 如果键不存在或无法设置超时时间,返回 0

语法
以下是以Redis的EXPIREAT命令的基本语法。

1 redis 127.0.0.1:6379> Expireat KEY_NAME TIME_IN_UNIX_TIMESTAMP

示例

首先,在Redis中创建一个键:akey,并在akey中设置一些值。

1 redis 127.0.0.1:6379> SET akey redis 
2 OK

现在,为设置创建的键设置超时时间为60 秒。

复制代码

1 127.0.0.1:6379> SET akey redis
 2 OK
 3 127.0.0.1:6379> EXPIREAT akey 1393840000
 4 (integer) 1
 5 127.0.0.1:6379> EXISTS akey
 6 (integer) 0
 7 127.0.0.1:6379> SET akey redis
 8 OK
 9 127.0.0.1:6379> EXPIREAT akey 1493840000
10 (integer) 1
11 127.0.0.1:6379> EXISTS akey
12 (integer) 1

复制代码

其他三个用法类似,这里不逐一阐述

2、字符串独有方式

对字符串特殊处理的方式为SETEX命令,SETEX命令为指定的 key 设置值及其过期时间。如果 key 已经存在, SETEX 命令将会替换旧的值。

返回值

设置成功时返回 OK 。

语法

Redis Setex 命令基本语法如下:

redis 127.0.0.1:6379> SETEX KEY_NAME TIMEOUT VALUE

示例

1 redis 127.0.0.1:6379> SETEX mykey 60 redis
2 OK
3 redis 127.0.0.1:6379> TTL mykey
4 60
5 redis 127.0.0.1:6379> GET mykey
6 "redis

二、3种过期策略

  • 定时删除
    • 含义:在设置key的过期时间的同时,为该key创建一个定时器,让定时器在key的过期时间来临时,对key进行删除
    • 优点:保证内存被尽快释放
    • 缺点:
      • 若过期key很多,删除这些key会占用很多的CPU时间,在CPU时间紧张的情况下,CPU不能把所有的时间用来做要紧的事儿,还需要去花时间删除这些key
      • 定时器的创建耗时,若为每一个设置过期时间的key创建一个定时器(将会有大量的定时器产生),性能影响严重
      • 没人用
  • 惰性删除
    • 含义:key过期的时候不删除,每次从数据库获取key的时候去检查是否过期,若过期,则删除,返回null。
    • 优点:删除操作只发生在从数据库取出key的时候发生,而且只删除当前key,所以对CPU时间的占用是比较少的,而且此时的删除是已经到了非做不可的地步(如果此时还不删除的话,我们就会获取到了已经过期的key了)
    • 缺点:若大量的key在超出超时时间后,很久一段时间内,都没有被获取过,那么可能发生内存泄露(无用的垃圾占用了大量的内存)
  • 定期删除
    • 含义:每隔一段时间执行一次删除(在redis.conf配置文件设置hz,1s刷新的频率)过期key操作
    • 优点:
      • 通过限制删除操作的时长和频率,来减少删除操作对CPU时间的占用--处理"定时删除"的缺点
      • 定期删除过期key--处理"惰性删除"的缺点
    • 缺点
      • 在内存友好方面,不如"定时删除"
      • 在CPU时间友好方面,不如"惰性删除"
    • 难点
      • 合理设置删除操作的执行时长(每次删除执行多长时间)和执行频率(每隔多长时间做一次删除)(这个要根据服务器运行情况来定了)

看完上面三种策略后可以得出以下结论: 
定时删除和定期删除为主动删除:Redis会定期主动淘汰一批已过去的key

惰性删除为被动删除:用到的时候才会去检验key是不是已过期,过期就删除

惰性删除为redis服务器内置策略

定期删除可以通过:

  • 第一、配置redis.conf 的hz选项,默认为10 (即1秒执行10次,100ms一次,值越大说明刷新频率越快,最Redis性能损耗也越大) 
  • 第二、配置redis.conf的maxmemory最大值,当已用内存超过maxmemory限定时,就会触发主动清理策略

 注意:

  • 上边所说的数据库指的是内存数据库,默认情况下每一台redis服务器有16个数据库(关于数据库的设置,看下边代码),默认使用0号数据库,所有的操作都是对0号数据库的操作,关于redis数据库的存储结构,查看 第八章 Redis数据库结构与读写原理
# 设置数据库数量。默认为16个库,默认使用DB 0,可以使用"select 1"来选择一号数据库
# 注意:由于默认使用0号数据库,那么我们所做的所有的缓存操作都存在0号数据库上,
# 当你在1号数据库上去查找的时候,就查不到之前set过得缓存
# 若想将0号数据库上的缓存移动到1号数据库,可以使用"move key 1"
databases 16
  • memcached只是用了惰性删除,而Redis同时使用了惰性删除与定期删除,这也是二者的一个不同点(可以看做是redis优于memcached的一点)
  • 对于惰性删除而言,并不是只有获取key的时候才会检查key是否过期,在某些设置key的方法上也会检查(eg.setnx key2 value2:该方法类似于memcached的add方法,如果设置的key2已经存在,那么该方法返回false,什么都不做;如果设置的key2不存在,那么该方法设置缓存key2-value2。假设调用此方法的时候,发现redis中已经存在了key2,但是该key2已经过期了,如果此时不执行删除操作的话,setnx方法将会直接返回false,也就是说此时并没有重新设置key2-value2成功,所以对于一定要在setnx执行之前,对key2进行过期检查)

三、Redis采用的过期策略

惰性删除+定期删除

  • 惰性删除流程
    • 在进行get或setnx等操作时,先检查key是否过期,
    • 若过期,删除key,然后执行相应操作;
    • 若没过期,直接执行相应操作
  • 定期删除流程(简单而言,对指定个数个库的每一个库随机删除小于等于指定个数个过期key)
    • 遍历每个数据库(就是redis.conf中配置的"database"数量,默认为16)
      • 检查当前库中的指定个数个key(默认是每个库检查20个key,注意相当于该循环执行20次,循环体时下边的描述)
        • 如果当前库中没有一个key设置了过期时间,直接执行下一个库的遍历
        • 随机获取一个设置了过期时间的key,检查该key是否过期,如果过期,删除key
        • 判断定期删除操作是否已经达到指定时长,若已经达到,直接退出定期删除。

四、RDB对过期key的处理

过期key对RDB没有任何影响

  • 从内存数据库持久化数据到RDB文件
    • 持久化key之前,会检查是否过期,过期的key不进入RDB文件
  • 从RDB文件恢复数据到内存数据库
    • 数据载入数据库之前,会对key先进行过期检查,如果过期,不导入数据库(主库情况)

五、AOF对过期key的处理

过期key对AOF没有任何影响

  • 从内存数据库持久化数据到AOF文件:
    • 当key过期后,还没有被删除,此时进行执行持久化操作(该key是不会进入aof文件的,因为没有发生修改命令)
    • 当key过期后,在发生删除操作时,程序会向aof文件追加一条del命令(在将来的以aof文件恢复数据的时候该过期的键就会被删掉)
  • AOF重写
    • 重写时,会先判断key是否过期,已过期的key不会重写到aof文件 

转载于:https://my.oschina.net/u/3753766/blog/1603282

<think>首先,用户的问题是:“我想了解Redis过期策略的实现原理请问Redis过期策略实现原理源码分析定时删除惰性删除”。所以,我需要专注于Redis过期策略,包括定时删除和惰性删除的原理和源码分析。系统级指令:-所有行内数学表达式必须使用$...$格式。但Redis过期策略不涉及数学表达式,所以可能不需要。-独立公式必须使用$$...$$格式并单独成段。同样,可能不适用。-LaTeX语法正确:确保在需要时使用正确格式。-使用中文回答。-生成相关问题:在回答末尾添加相关问题。-回答中引用的段落末尾自然地添加引用标识,例如[^1]。用户可见层:-回答结构清晰,帮助用户逐步解决问题。-尽量保证回答真实可靠。-参考提供的引用:[1],[2],[3],[4]。这些是关于Redis过期策略的,我需要基于这些来构建回答。提供的引用摘要:-[1]:定期删除策略,周期性扫描删除过期键,分批进行,避免阻塞,占用CPU资源。-[2]:Redis删除过期数据的两种方式:惰性删除和通过定时任务定期删除。-[3]:深入源码剖析过期删除策略。-[4]:惰性删除的优点:只在取值时删除当前key,占用CPU少。用户问题聚焦于实现原理和源码分析,所以我需要整合这些信息。回答结构:1.**介绍Redis过期策略**:简要解释为什么需要过期策略。2.**惰性删除(LazyDeletion)**:解释原理、优缺点。3.**定时删除(PeriodicDeletion)**:解释原理、实现细节、源码分析。4.**源码分析**:基于引用[3],深入一些源码细节。5.**总结**:结合两种策略的优势。6.**生成相关问题**:在末尾添加相关问题。使用中文回答。自然地添加引用标识:当引用信息时,在段落末尾加[^数字]。现在,构建回答大纲:-**步骤1:引言**-Redis作为内存数据库,设置键过期时间来控制内存使用。过期策略确保过期键被删除。-主要策略:惰性删除和定期删除(定时删除)。-**步骤2:惰性删除**-原理:在访问键时检查是否过期,如果过期则删除。-优点:只在需要时删除,CPU占用少。-缺点:如果键不被访问,可能积累过期数据。-引用[4]支持。-**步骤3:定期删除**-原理:周期性运行任务,扫描并删除过期键。-实现:分批扫描数据库,避免阻塞。-源码分析:基于引用[3],描述Redis如何实现定时任务,比如在server.c或expire.c中的函数。-引用[1]和[2]支持。-**步骤4:源码分析细节**-例如,Redis使用一个定时器事件来处理定期删除。-关键函数:如activeExpireCycle,在expire.c中。-描述工作流程:随机选择键,检查过期时间,删除。-**步骤5:总结**-两种策略互补:惰性删除处理访问时删除,定期删除主动清理。-确保内存效率和性能。-**步骤6:相关问题**-生成3-5个相关问题。确保回答真实可靠:基于提供的引用,避免猜测。最终,添加相关问题。</think>### Redis 过期策略的实现原理及源码分析 Redis 作为一款高性能的内存键值数据库,需要有效管理内存资源。键(key)可以设置过期时间(TTL),当键过期后,Redis 采用两种策略删除它们:**惰性删除(Lazy Deletion)**和**定期删除(Periodic Deletion)**(也称为定时删除)。这两种策略互补工作,确保内存不被过期数据占用,同时平衡性能。下面我将逐步解释原理,并结合源码分析(基于 Redis 开源代码,版本参考 6.x)。 #### 1. **过期策略概述** Redis过期策略不是实时删除过期键,而是通过惰性删除和定期删除结合实现: - **惰性删除**:在访问键时检查并删除过期键,CPU 占用低。 - **定期删除**:周期性扫描数据库,主动删除过期键,防止内存积累。 这种设计避免了实时删除的性能开销,同时保证内存效率[^2]。 #### 2. **惰性删除(Lazy Deletion)的实现原理** 惰性删除是 Redis 的默认策略,核心思想是“按需删除”。当用户尝试读取一个键(如通过 `GET` 命令)时,Redis 会先检查该键是否过期。如果过期,则立即删除并返回空值;否则,正常返回数据。 - **优点**:删除操作只发生在键被访问时,且仅处理当前键,因此 CPU 占用极少,对性能影响小[^4]。 - **缺点**:如果过期键长期不被访问,会占用内存,可能导致内存泄露。 - **源码分析**: - 关键函数位于 `db.c` 文件中的 `lookupKeyReadWithFlags` 函数。当读取键时,会调用 `expireIfNeeded` 函数检查过期状态。 - `expireIfNeeded` 函数(在 `expire.c` 中)逻辑: - 检查键的过期时间(存储在 Redis 对象的 `expires` 字典中)。 - 如果过期,删除键并返回 1;否则返回 0。 - 删除操作最终调用 `dbSyncDelete` 或 `dbAsyncDelete` 函数,处理同步或异步删除。 - 示例伪代码简化: ```c int expireIfNeeded(redisDb *db, robj *key) { if (!keyIsExpired(db, key)) return 0; // 未过期,不处理 deleteExpiredKeyAndPropagate(db, key); // 删除键并传播删除事件 return 1; } ``` 在访问路径中(如 `GET` 命令),会先执行此检查,确保只有被访问的过期键被清理[^4]。 #### 3. **定期删除(Periodic Deletion)的实现原理** 定期删除是主动策略,Redis 周期性运行后台任务,扫描并删除过期键。这解决了惰性删除的不足,防止过期键堆积。 - **原理**: - Redis 使用一个定时任务(时间事件),每 100 毫秒(可配置)执行一次。 - 每次任务只扫描部分数据库和键(分批进行),避免一次性扫描导致服务阻塞。 - 任务随机选择数据库和键,检查过期时间,如果过期则删除。 - **优点**:主动清理内存,减少过期数据积累。 - **缺点**:占用 CPU 资源,尤其在大量键过期时,可能影响性能[^1]。 - **源码分析**: - 核心函数是 `activeExpireCycle`,位于 `expire.c` 文件中。该函数由 Redis 的事件循环(`serverCron` 函数,在 `server.c` 中)定期调用。 - `activeExpireCycle` 工作流程: 1. **分批扫描**:每次任务限制扫描时间(默认 25 毫秒)和键数量(基于配置),避免阻塞主线程。Redis 使用自适应算法调整扫描量。 2. **随机选择键**:从每个数据库过期字典(`expires`)中随机选取键,检查过期时间。 3. **删除处理**:如果键过期,调用删除函数(如 `dbDelete`),并更新统计信息。 4. **进度跟踪**:记录扫描位置,确保下次任务从断点继续。 - 关键代码片段(简化): ```c void activeExpireCycle(int type) { // 遍历数据库(分批次) for (j = 0; j < dbs_per_call; j++) { // 随机选择键检查 while (sampled < max_samples) { key = dictGetRandomKey(db->expires); if (keyIsExpired(db, key)) { deleteExpiredKey(db, key); // 删除过期键 expired++; } sampled++; } } // 调整下次扫描参数,避免过度占用 CPU updateExpireCycleParams(); } ``` 在 `serverCron` 函数中,`activeExpireCycle` 被定期触发,确保系统在高负载下也能平滑运行[^1][^3]。 #### 4. **策略结合与性能优化** Redis 将惰性删除和定期删除结合使用: - **互补性**:惰性删除处理高频访问键,定期删除清理“冷数据”。这种设计在大多数场景下高效,内存占用和 CPU 开销平衡[^2][^3]。 - **源码中的优化**: - **自适应扫描**:`activeExpireCycle` 根据系统负载动态调整扫描频率和范围。例如,如果过期键比例高,增加扫描量。 - **内存回收**:删除操作可能触发异步内存回收(如 `jemalloc`),减少碎片。 - **配置参数**:通过 `hz` 参数控制定时任务频率(默认 10,即每秒 10 次),用户可调整以平衡性能。 #### 5. **总结** Redis过期策略通过惰性删除和定期删除协同工作:惰性删除确保访问时的低延迟,定期删除主动维护内存健康。源码实现(如 `expireIfNeeded` 和 `activeExpireCycle` 函数)体现了高效的分批处理和自适应机制。这种设计在保证高性能的同时,最大限度减少资源浪费,适合高并发场景[^1][^2][^3][^4]。 如果您有具体配置或性能问题,我可以进一步深入分析! ### 相关问题 1. Redis 的定期删除策略如何避免阻塞主线程? 2. 在哪些场景下惰性删除可能导致问题?如何优化? 3. Redis 过期策略与其他内存数据库(如 Memcached)有何区别? 4. 如何监控 Redis过期键删除性能?有哪些关键指标? [^1]: Redis 源码解析 - Redis 键的过期处理策略。定期删除是一种主动清理过期键的策略。Redis会周期性地执行一个任务,扫描一部分数据库中的键,检查并删除那些已经过期的键。这个过程是分批进行的,以避免因一次性扫描全部数据库而导致的阻塞问题。定期删除策略通过主动寻找并删除过期键,有助于确保Redis内存中不会积累大量未使用的过期数据,但需要注意的是,它可能会在执行期间占用一定的CPU资源。 实现细节。 [^2]: 追求性能极致 - Redis过期数据的删除策略。通过前面的章节,我们知道,Redis 是一个kv型数据库,我们所有的数据都是存放在内存中的,但是内存是有大小限制的,不可能无限制的增量。 想要把不需要的数据清理掉,一种办法是直接删除,这个咱们前面章节有详细说过;另外一种就是设置过期时间,缓存过期后,由Redis系统自行删除。 这边需要注意的是,缓存过期之后,并不是马上删除的,那Redis是怎么删除过期数据的呢?主要通过两个方式 惰性删除通过定时任务,定期选取部分数据删除。 [^3]: 深入浅出-Redis过期删除策略手术式源码刨析,小白也能看懂。之前就说了要来西索Redis,现在来辣! 本文的部分基础内容参考自《小林Coding》,深入的地方根据源代码进行剖析。 Redis源码地址:https://github.com/redis/redis.git 过期删除策略。 [^4]: Redis过期策略及实现原理。优点:删除操作只发生在通过key取值的时候发生,而且只删除当前key,所以对CPU时间的占用是比较少的,而且此时的删除是已经到了非做不可的地步(如果此时还不删除的话,我们就会获取到了已经过期的key了)。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值