6、布隆过滤器中哈希函数的影响及性能分析

布隆过滤器中哈希函数的影响及性能分析

1. 引言

布隆过滤器因其极小的内存占用而被广泛应用于各种场景。不过，不同的成员过滤器变体由于设计架构不同，会消耗相对较多的内存。而选择或设计一个好的哈希函数可以减少内存占用，降低误报率，并显著提高布隆过滤器的查询性能。

哈希函数主要分为两类：加密哈希函数和非加密哈希函数。加密哈希函数更安全，但生成的哈希值较大，且不支持种子值，因此不太适合布隆过滤器。我们需要选择最佳的非加密哈希函数来开发新的布隆过滤器。

2. 哈希函数

哈希函数大致可分为加密和非加密两类。加密哈希函数如 MD5、SHA1、SHA2 和 SHA3；非加密哈希函数有 FastHash、XXHash、Murmur、SuperFast 等。选择合适的哈希函数对设计高效的布隆过滤器至关重要。

安全的哈希函数会增加执行时间，不利于布隆过滤器的设计。而且布隆过滤器的哈希函数需要种子值来将输入项分布到位数组的不同槽中，而安全哈希函数不支持种子值，所以不适合布隆过滤器。

以 SHA256 为例，它生成 256 位的哈希值。假设布隆过滤器的位数组长度为 10000，对生成的哈希值进行取模运算（hv%10000），会发现 256 位的哈希值大部分被截断，造成浪费。实际上，对于当前需求，32 位的哈希函数就足以实现布隆过滤器。

以下是几种非加密哈希函数的介绍：
- FastHash ：默认生成 64 位哈希码，若要 32 位哈希码，可从 64 位中截取。它与 Murmur 哈希函数类似。
- xxHash ：由 Yann