基于Redis内核的热key统计实现方案｜得物技术

一、Redis热key介绍

Redis热key问题是指单位时间内，某个特定key的访问量特别高，占用大量的CPU资源，影响其他请求并导致整体性能降低。而且，如果访问热key的命令是时间复杂度较高的命令，会使得CPU消耗变得更加严重；或者，如果访问的热key同时也是一个大key，也可能使得访问流量达到节点所在机器带宽上限。

二、Redis热key常见探测方法

突发的热点新闻、爆款商品、或者促销活动都可能导致访问热key的出现，目前，Redis官方和业界也都有不少热key探测与发现方法。

先通过一个表格整体预览一下当前存在的热key探测方案优缺点

Redis-cli的hotkeys参数

Redis自4.0起在Redis-cli中提供了hotkeys参数来方便用户进行实例级的热key分析功能，Redis-cli通过向Redis-server节点发送scan + object freq命令以遍历的方式分析Redis实例中所有key，然后返回实例中热key信息。

该方式存在以下几个问题：

1. 使用该方案的前提条件是需要将Redis-server的淘汰策略maxmemory-policy参数设置为LFU（volatile-lfu或allkeys-lfu）
2. 实时性差。由于需要扫描整个keyspace，实时性较差，扫描时间与key数量正相关，如果key数量比较多，耗时可能会非常长。
3. 信息不够丰富。首先记录的访问频率是一个与访问次数的对数成比例的相关近似值，不能够很直观的看出来热key的访问频率；另外，返回的信息中也没有key的类型和热key出现的时间等。

monitor命令统计

Redis提供monitor命令可以实时抓取出Redis服务器接收到的命令，可以对抓取的数据结合一些现成的分析工具（比如Redis-faina）统计出抓取时间段内的访问热key。

该方式存在以下几个问题：

1. 该命令在高并发的条件下，有内存增暴增的隐患，还会降低Redis的性能，只能紧急情况下短暂使用，不能长时间使用。
2. 该方式只能统计开启monitor命令的期间访问热key情况，对于过去已经发生的访问热key无法获取，无法应对一些瞬时的突发热key等情况。

Redis节点抓包分析

Redis客户端使用TCP协议与服务端进行交互，并且通信协议采用自定义的RESP协议，可以使用libpcap库对Redis-server监听端口抓包，然后按照RESP协议解析数据，并统计抓包期间内访问的热key。