09 Redis过期策略和内存淘汰策略

本文深入探讨Redis的过期键处理策略,包括定期删除与惰性删除的结合应用,以及当内存超出限制时的六种内存淘汰策略。同时,解析了Redis如何运用近似LRU算法在内存管理和CPU效率间找到平衡。
Redis过期删除策略和淘汰策略
  • 定期删除:Redis默认每隔100ms就随机抽取一些设置了过期时间的key,检查其是否过期,如果过期就删除。注意这里是随机抽取的,随机抽取是因为如果全部遍历会给消耗大量CPU资源。
    定期删除过期键,有效减少了对内存的浪费。

  • 惰性删除:惰性删除是指客户端在访问某个key时,Redis会对key的过期时间进行检查,如果过期了就立即删除。缺点:对内存不友好,如果数据库中有很多过期键,而它们又恰好没有被访问到,那么它们也许一直不会被删除,这样占用了大量的内存。

redis通过配合使用这两种删除策略,可以很好的在合理使用CPU时间和避免浪费内存空间之间取得平衡。

从库的过期策略

从节点对过期key的处理是被动的,主节点在对过期键进行删除时,会在AOF文件里增加一条del指令,同步到从节点,从节点通过执行这条del指令来删除过期key。

Redis的内存淘汰机制

如果过期删除漏掉了很多过期key,客户端也没有及时查这些key,这写key就会堆积在内存中,这时就会走Redis内存淘汰机制。

当实际内存超出配置的maxmemory时,Redis提供了6种淘汰策略:

  1. volatile-lru:从已设置过期时间的数据中挑选最近最少使用的数据淘汰。
  2. volatile-ttl:从已设置的过期时间的数据中挑选将要过期的数据淘汰。
  3. volatile-random:从已设置过期时间的数据中任意选择数据淘汰。
  4. allkeys-lru:移除最近最少使用的key。 (最常用)
  5. allkeys-random:任意选择数据淘汰。
  6. no-eviction:不会继续服务写请求,读请求可以继续进行。

4.0版本后增加以下两种:

  1. volatile-lfu:从已设置过期时间的数据中挑选最不经常使用的数据淘汰。
  2. allkeys-lfu:移除最不经常使用的key。
LRU算法
  • 实现LRU算法需要 key-value 字典,以及一个链表。当字典的某个元素被访问时,它在链表中的位置就会被移到链表头,所以链表的元素排列顺序就是元素最近被访问的顺序。
  • 位于链表尾部的元素时最近最少使用的元素,优先被踢掉;位于链表头部的元素就是最近刚被使用的元素,暂时不会被踢。
近似LRU算法
  • Redis使用的是一种近似LRU算法,之所以不用传统的LRU算法是因为它引入的链表会占用较多的内存。
  • 近似LRU算法使用随机采样的方式来淘汰元素,它为每个key增加了一个最近一次被访问的时间戳,当内存超过max memory时,就会执行一次这个近似LRU淘汰算法,原理步骤是随机采样5个key,根据时间戳淘汰最旧的那个key,如果淘汰后的内存还是超出max memory,就继续随机采样来淘汰。采样的方式通过max memory policy来配置,如果配置的是allkeys,就从所有的key中随机采样,如果配置的是volatile,就从设有过期时间的key中随机采样,每次采样的key的个数通过max memory samples来配置,默认为5,这个采样值越大,效果就越接近于传统的LRU算法。
  • redis 3.0 在算法中增加了淘汰池,进一步提升了近似 LRU 算法的效果。具体原理是构建一个淘汰池的数组,大小为每次采样的个数,在每一次淘汰循环中,新随机采样的 key 会和淘汰池中的 key 进行融合,淘汰掉最旧的那个 key 后,保留剩余的 key 放入淘汰池中等待下一次循环。
源码地址: https://pan.quark.cn/s/d1f41682e390 miyoubiAuto 米游社每日米游币自动化Python脚本(务必使用Python3) 8更新:更换cookie的获取地址 注意:禁止在B站、贴吧、或各大论坛大肆传播! 作者已退游,项目不维护了。 如果有能力的可以pr修复。 小引一波 推荐关注几个非常可爱有趣的女孩! 欢迎B站搜索: @嘉然今天吃什么 @向晚大魔王 @乃琳Queen @贝拉kira 第三方库 食用方法 下载源码 在Global.py中设置米游社Cookie 运行myb.py 本地第一次运行时会自动生产一个文件储存cookie,请勿删除 当前仅支持单个账号! 获取Cookie方法 浏览器无痕模式打开 http://user.mihoyo.com/ ,登录账号 按,打开,找到并点击 按刷新页面,按下图复制 Cookie: How to get mys cookie 当触发时,可尝试按关闭,然后再次刷新页面,最后复制 Cookie。 也可以使用另一种方法: 复制代码 浏览器无痕模式打开 http://user.mihoyo.com/ ,登录账号 按,打开,找到并点击 控制台粘贴代码并运行,获得类似的输出信息 部分即为所需复制的 Cookie,点击确定复制 部署方法--腾讯云函数版(推荐! ) 下载项目源码压缩包 进入项目文件夹打开命令行执行以下命令 xxxxxxx为通过上面方式或取得米游社cookie 一定要用双引号包裹!! 例如: png 复制返回内容(包括括号) 例如: QQ截图20210505031552.png 登录腾讯云函数官网 选择函数服务-新建-自定义创建 函数名称随意-地区随意-运行环境Python3....
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值