Redis 如何统计过亿的Keys？

最新推荐文章于 2025-09-13 19:57:03 发布

原创最新推荐文章于 2025-09-13 19:57:03 发布 · 921 阅读

CC 4.0 BY-SA版权

文章标签：

4 篇文章

订阅专栏

两种Redis方案：Bitmap和布隆过滤器

Redis中的位图Bitmap是种较为特殊数据类型，它以最小单位bit来存储数据，一个字节由 8个 bit 组成，和传统数据结构用字节存储相比，这使得它在处理大量二值状态（true、false 或 0、1等只有两种状态）数据时具有极高的空间效率。其底层实现仍是基于 String 类型。

可以将 Bitmap 的底层结构看成是由一系列 bit 位组成的数组，在此数组中，每个位都对应一个偏移量（类似数组的下标）。通过将特定偏移量上的位值设置为 0 或 1，来表示不同的状态。

极高空间效率：Bitmap 可以节省数据存储空间。粗略的算一下，1亿位的 Bitmap 大概才占 12MB 的内存，相比其他数据结构，能极大地节省存储空间；

快速查询：位操作通常比其他数据结构查询速度更快。无论是设置位值还是获取位值，时间复杂度都为 O (1)，能够快速响应查询请求；

易于操作：支持单个位操作、位统计、位逻辑运算等，运算效率高，不需要进行比较和移位；

由于数据结构特点，导致它仅适用于表示两种状态，即 0 和 1。对于需要表示更多状态的情况，Bitmap 就不适用了；

只有当数据比较密集时才有优势，如果我们只设置（20，30，888888888）三个偏移量的位值，则需要创建一个 99999999 长度的 BitMap ，但是实际上只存了3个数据，这时候就有很大的空间浪费，碰到这种问题的话，可以通过引入另一个 Roaring BitMap 来解决；

Bitmap 是比较简单的一种数据结构，占用空间小查询效率高，非常适用于记录状态的场景，它的应用场景很常见，比如：

Bitmap 记录字符元素的状态时，需要先借助哈希运算得出偏移量。但引入哈希运算后可能会出现哈希碰撞的情况，导致状态误判。

布隆过滤器对这问题做了优化，做到了可控误判率，例如将邮箱地址添加到集合中，多个不同的哈希函数会将这个邮箱地址映射到 bitmap 中的不同偏移量位置上，且将这些位值置为 1。

要判断邮箱地址是否在集合中，通过相同的哈希函数映射到 bitmap 上的多个位置，如果这些位上的值都为 1，则邮箱可能存在集合中；如果有任何一个位置的值为 0，则元素一定不在集合中。这是布隆过滤器的特点。

虽然布隆过滤器还是会发生误判的情况，但是可以通过调整布隆过滤器的大小和哈希函数的数量来控制误判率。

布隆过滤器的空间占用也是极小，它本身不存储完整的数据，和 bitmap 一样底层也是通过 bit 位来表示数据是否存在。

性能比较稳定，无论集合中元素的数量有多少，插入和查询操作的时间复杂度都非常低，通常为 O (k)，其中 k 是哈希函数的个数。也就是说在处理大规模数据时，布隆过滤器的性能不会随着数据量的增加而急剧下降。

存在一定的误识别率：布隆过滤器存在误判的情况，即当一个元素实际上不在集合中时，有可能被判断为在集合中。这是因为多个元素可能通过哈希函数映射到相同的位置，导致误判。但是，当布隆过滤器判断一个元素不在集合中时，则是 100% 正确的。

删除元素比较困难：一般情况下，不能直接从布隆过滤器中删除元素。这是因为一个位置可能被多个元素映射到，如果直接将该位置的值置为 0，可能会影响其他元素的判断。

布隆过滤器存在一定的误判，所以使用它的场景就一定要允许不准确的情况发生：

解决 Redis 缓存穿透问题：秒杀商品详情通常会被缓存到 Redis 中。如果有大量恶意请求查询不存在的商品，通过布隆过滤器可以快速判断这些商品不存在，从而避免了对数据库的查询，减轻了数据库的压力。
邮箱黑名单过滤：在邮件系统中，可以使用布隆过滤器来过滤垃圾邮件和恶意邮件。将已知的垃圾邮件发送者的地址或特征存储在布隆过滤器中，新邮件来时判断发送者是否在黑名单中。
对爬虫网址进行过滤：在爬虫程序中，为了避免重复抓取相同的网址，可以使用布隆过滤器来记录已经抓取过的网址。新网址出现时，先判断是否已抓取过。