1、简介
LRU有一个明显的缺点,它无法正确的表示一个Key的热度,如果一个key从未被访问过,仅仅发生内存淘汰的前一会儿被用户访问了一下,在LRU算法中这会被认为是一个热key。
例如如下图,keyA与keyB同时被set到Redis中,在内存淘汰发生之前,keyA被频繁的访问,而keyB只被访问了一次,但是这次访问的时间比keyA的任意一次访问时间都更接近内存淘汰触发的时间,如果keyA与keyB均被Redis选中进行淘汰,keyA将被优先淘汰。我想大家都不太希望keyA被淘汰吧,那么有没有更好的的内存淘汰机制呢?当然有,那就是LFU。
LFU(Least Frequently Used)是Redis 4.0 引入的淘汰算法,它通过key的访问频率比较来淘汰key,重点突出的是Frequently Used。
LRU与LFU的区别:
-
LRU -> Recently Used,根据最近一次访问的时间比较
-
LFU -> Frequently Used,根据key的访问频率比较
Redis4.0之后为maxmemory_policy淘汰策略添加了两个LFU模式(LRU请看我上一篇文章):
-
volatile-lfu:对有过期时间的key采用LFU淘汰算法
-
allkeys-lfu:对全部key采用LFU淘汰算法
2、实现方式
Redis分配一个字符串的最小空间占用是19字节,16字节(对象头)+3字节(SDS基本字段)。Redis的内存淘汰算法LRU/LFU均依靠其中的对象头中的lru来实现。
Redis对象头的内存结构:
typedef struct redisObject {
unsigned type:4; // 4 bits 对象的类型(zset、set、hash等)
unsigned encoding:4; // 4 bits 对象的存储方式(ziplist、intset等)
unsigned lru:24; // 24bits 记录对象的访问信息
int refcount; // 4 bytes 引用计数
void *ptr; // 8 bytes (64位操作系统),指向对象具体的存储地址/对象body
}
Redis对象头中的lru字段,在LRU模式下和LFU模式下使用方式并不相同。
2.1 LRU实现方式
在LRU模式,lru字段存储的是k