Redis简单了解三

本文介绍了Redis的事务特性,包括不支持回滚、MULTI、EXEC和WATCH命令的使用。接着讨论了Redis的过期键删除策略,如noeviction、allkeys-lru等。还详细阐述了慢查询的定义、慢查询日志的记录和分析方法。最后,简要讲解了HyperLogLog用于近似统计Distinct Value的原理。

 

事务

redis 的事务跟之前了解的事务不一样。它是将多个命令请求打包,然后按顺序、一次性地执行多个命令。事务执行期间,服务器不会中断事务而去执行其他客户端的命令。

注意,redis事务是不支持回滚的。

事务分三步:

事务开始 MULTI,打开事务标识
命令入队 
事务提交执行 EXEC

事务还可以配合watch使用,watch 即乐观锁。事务开始前,注册监视某key,在exec 提交后,发现 watch 的key被修改了,则拒绝执行。

 

发布订阅

 

 

过期键删除

对于一些过期键的删除,有三种方式删除:

删除策略

描述

优点

缺点

定时删除

设置过期时间时,创建定时器;过期时间来临时,立即执行对键的删除

能保证尽快删除并释放内存

过期键较多时耗费CPU,影响服务器的响应时间和吞吐量;
用一个链表维护定时器,操作性差

惰性删除

过期不管,每次获取键时,检查是否过期,如果过期则删除

取出键时才删除,不消耗CPU

如果键长时间未访问,可能永远无法删除,即内存泄漏

定期删除

每隔一段时间,对数据库进行一次检查,选择性地删除里面的过期键。

算是前两种策略的折中

取决于定期删除策略
太频繁,约等于定时策略,耗费CPU
频率低,浪费内存

定期删除采用一定策略来选择key来删除:

noeviction:达到限制内存以后再存新数据会返回出错。
allkeys-lru:淘汰最近没使用的数据。
volatile-lru:在设置了过期值(expire)的数据里淘汰最近没使用的数据。
allkeys-random:随机淘汰数据。
volatile-random:在设置了过期值(expire)的数据里随机淘汰数据。
volatile-ttl:在设置了过期值(expire)的数据里淘汰快要过期的数据。

 

慢查询

一个客户端的命令执行需要以下几步:
1.客户端发送命令到服务器
2.服务器命令排队
3.服务器执行命令
4.服务器把结果返回给客户端

慢查询指的是 执行命令 这一步。当然其他步骤也有可能导致客户端感知变慢。

慢查询日志

当服务器执行命令超过某个设定阈值时,会记录这次执行的日志:发生时间、执行时长、命令信息等。这样我们可以定位慢查询。

获取慢查询日志

slowlog len

可以获取慢查询日志的长度。
我们也可以取部分来分析,比如取5条

slowlog get 5

慢查询日志有4个属性:
唯一标识ID
命令执行的时间戳,秒
命令执行时长
命令名和参数

清理

清理慢查询日志只需要执行:

slowlog reset

慢查询阈值

在conf文件中设置:

slowlog-log-slower-than=1000

单位微秒,执行超过这个时间的就会被记录。
1秒 = 1000 毫秒 = 1000 000 微秒

设置 为负数,则不记录日志;设置为0,会记录所有日志
 

slowlog-max-len

该属性指定保存慢查询日志最大条数。超过则删除最早的那条

慢查询的信息存放在 redisServer 下

struct redisServer {
	/ **

	*/
    list *slowlog;                  /* SLOWLOG list of commands */
    long long slowlog_entry_id;     /* SLOWLOG current entry ID */
    long long slowlog_log_slower_than; /* SLOWLOG time limit (to get logged) */
    unsigned long slowlog_max_len;     /* SLOWLOG max number of items logged */
}

从上边看 慢查询日志使用双端链表存放的。

/* Push a new entry into the slow log.
 * This function will make sure to trim the slow log accordingly to the
 * configured max length. */
void slowlogPushEntryIfNeeded(client *c, robj **argv, int argc, long long duration) {
    if (server.slowlog_log_slower_than < 0) return; /* Slowlog disabled */
    if (duration >= server.slowlog_log_slower_than)
        listAddNodeHead(server.slowlog,
                        slowlogCreateEntry(c,argv,argc,duration));

    /* Remove old entries if needed. */
    while (listLength(server.slowlog) > server.slowlog_max_len)
        listDelNode(server.slowlog,listLast(server.slowlog));
}

添加是在头部添加,删除是在尾部进行。

 


Hyperloglog

HyperLogLog 一般被用来近似统计某一字段的Distinct Value,比如页面UV等。之所以是近似,它是利用概率的方式来统计的,标准误差为0.81%。

这里我们介绍下原理,具体理论见论文《HyperLogLog the analysis of a near-optimal cardinality estimation algorithm》

1.类似抛硬币,出现正反面的概率各位 1/2,如果连续出现 k 个 0,则为 k 个 1/2.

2.而我们的任意记录都能hash 成二进制。

3.因此,就可以最长连续 0 的个数,来估算元素的总个数(类似进行了多少次实验)。

4.当然这样预估存在误差,因此利用多个桶来估算,减小误差

图片来自网络

先看下增加元素,对应命令

pfadd key value1

这个一个多参数命令,

存在key 则循环加入元素;否则新建 key 并分配空间,然后 循环加入元素。

其数据结构也分两种:桶、稀疏矩阵。后者在数据量较小时使用,节约内存。

之后就是 hash 后计算前导0

其hash 处理过程也简单:

1.MurmurHash64A 成64位数字
2.hash & (1<<14)-1,即取最低14位算存哪个桶
3.hash的高48位,从右算0的个数。(注意 count 初始为1,说明多算了一个 1,即前导0串加1位1)

比如

而桶的结构如下:

因为 hash的高位48位,最多只能48个0。因此6个 bit 位即可。

因此内存大小=16384 * 6 / 8 = 12 * 2^10 B = 12 KB

 

 

 

 

 

 

 

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值