差点跑路！布隆过滤器大key，引发Redis崩溃

在大数据场景下，布隆过滤器是一种常用的数据结构，用于快速判断元素是否存在。而 Redis 则是一种流行的缓存和数据存储系统，广泛应用于互联网领域。

然而，当布隆过滤器的 key 过大时，会引发 Redis 的崩溃，给系统带来严重的影响。

做了刚转行互联网不久的新人，来公司不久，做了一个计算弹窗 CTR 的功能，需要通过设备 id 去重，以计算弹窗的 UV CTR。

我这个时候想到了布隆过滤器，在 Redis 存储布隆过滤器，布隆过滤器中存储弹过窗的设备 id。

由于布隆过滤器设置的数据过大，导致线上 Redis IO 报警，差点导致整个 Redis 崩溃，差点跑路！

本文将探讨布隆过滤器大 key 问题的产生原因、解决方法和预防措施。

布隆过滤器的作用和原理

布隆过滤器是一种空间效率高、时间效率低的数据结构，用于快速判断元素是否存在。它通过多个哈希函数将元素映射到一个位数组中，并将对应的位标记为 1。

当判断一个元素是否存在时，将其通过相同的哈希函数映射到位数组中，如果对应的位都为 1，则认为元素存在。

由于布隆过滤器不需要存储元素本身，而只需要存储位数组，因此在处理大规模数据时具有很高的效率。

Redis 的基本概念和用途

Redis 是一种流行的缓存和数据存储系统，具有高性能、高可用性和高扩展性等优点。它支持多种数据结构，包括字符串、哈希表、列表、集合和有序集合等。

Redis 常用于缓存、消息队列、分布式锁和计数器等场景，广泛应用于互联网领域。

布隆过滤器在 Redis 中的应用

在 Redis 中，布隆过滤器常用于去重和快速判断元素是否存在。例如，在爬虫系统中，可以使用布隆过滤器去重，避免重复爬取相同的网页。

在推荐系统中，可以使用布隆过滤器判断用户是否已经看过某个推荐内容，避免重复推荐。

大 key 问题的产生