Redis HyperLogLog 用于记录独立总数

HyperLogLog是Redis支持的一种数据结构，使用基数算法来完成独立总数的统计。这里先来介绍一下基数算法。

基数是指一个集合中，不同的数的个数。基数算法是估计一个集合中不同的数的个数，不是数据总量的估计，也不是基数的精确计算。而是用概率算法的思想，来用低空间和时间成本，以一个很低的误差度来估计数据的基数。

所以HyperLogLog采用了牺牲精度节约内存的思想，能够使用极小的内存空间来完成独立总数的统计。

下面先来介绍一下Redis中和HyperLogLog相关的几个命令

1.常用命令

添加

pfadd key element [element ...]

pfadd 命令可以向HyperLogLog中添加元素，添加成功则结果返回 1。

例如：

10.12.22.91:0>pfadd 20180904:pf uuid-1
"1"

计算独立总数

pfcount key [key ...]

pfcount 命令可以计算一个或多个HyperLogLog的独立总数

例如：

10.12.22.91:0>pfcount 20180904:pf
"1"

合并

pfmerge destkey key [key ...]

pfmerge 命令可以合并多个HyperLogLog的并集，并将结果赋值给destkey。

例如：

10.12.22.91:0>pfadd 20180904:pf uuid-1 uuid-2 uuid-3
"1"
10.12.22.91:0>pfadd 20180905:pf uuid-2 uuid-3 uuid-4
"1"
10.12.22.91:0>pfmerge 20180904-05:pf 20180904:pf 20180905:pf
"OK"
10.12.22.91:0>pfcount 20180904-05:pf
"3"

可以看到将20180904:pf和20180905:pf的并集赋值给了20180904-05:pf，去除了重复的元素。

2.HyperLogLog分析

10.12.22.91:0>type 20180904:pf
"string"

通过上面的命令我们可以知道HyperLogLog不是一个新的数据结构，其实还是string类型。

可以使用Lua脚本往HyperLogLog和Set类型中写入大量数据来检测消耗的内存大小，这里直接将网上百万级用户的测试结果展示出来：

3.总结

• HyperLogLog采用基数算法统计独立总数，存在一定误差
• 相对于Set，HyperLogLog在内存占用上表现得特别优秀
• HyperLogLog只能用来统计独立总数，不能获取单条数据
• HyperLogLog数据类型是string，而不是集合

---

喜欢这篇文章的朋友，欢迎扫描下图关注公众号lebronchen，第一时间收到更新内容。