String Hashing(字符串哈希)

判断字符串是否相等可以在常数时间内完成,strcmp()可以在 $log(n)$ 的时间内完成.这看起来很酷,然而计算机科学家会告诉你这被证明是不可能的,但是这对于处理字符串的问题依然是很有用的,让我们来学习一下吧.

设 $M$ 是一个大质数( $10^9+7$ 就是一个不错的选择),假设我们有一个随机数生成器 $rand(A, B)$ ,它会生成一个在 $[A, B)$ 区间内的随机数.然后我们要定义一个字符串hash函数 $H$ ,开始时,对于字母表中的每一个字符 $c$ ,都有 $H(c) = rand(1, M)$ .然后我们对于每个字符串都定义有

$$H(a_0...a_n) = \sum_{k = 0}^n 2^k\cdot H(c_k)$$

然后对于任何一个字符串 $S$ , $H(S)$ 都是 $[0, M)$ 的一个随机数,并且两个不同的字符串有不同的的hash值.

因此，要判断 $S_1$ 是否等于 $S_2$ ,你就可以直接比较 $H(S_1)$ 和 $H(S_1)$ ,错的概率最多是 $1/M$ 。

但是这需要花费 $O(|S|)$ 的时间计算出 $H(S)$ ,我们真的保存了所有的东西么?

假设我们只关心一些字符串的子串 $S = a_0...a_n$ .首先对于每一个在 $[0, n]$ 的 $i$ 计算出 $P_i = H(a_0...a_i)$ .令 $P_{-1} = 0$ ,又因为 $P_{i+1} = P_i + 2^{i+1}\cdot H[a_{i+1}]$ ,计算出所有的P只需要花费 $|S|$ 的时间,于是有 $H(a_i...a_j) = (P(j)-P(i-1)) / 2^i$ .因为我们要 $mod$ $M$,除以 $2^i$ 可以转化为乘以 $2^{M-1-i}$ ,所以实际上 $H(a_i...a_j) = (P(j)-P(i-1)) \cdot 2^{M-1-i}$ ,这个时间复杂度是常数的,所以我们可以在常数时间内计算出 $S$ 的任何子串的hash值,因此我们就可以在常数时间内比较S的任何两个子串了.

如果我想比较多个字符串怎么办?

假设你想比较 $S_1...S_n$ ,你可以定义 $S = S_1 + ... + S_n$ ,然后你对S再执行与上面相同的操作,现在你就可以在常数时间内比较 $S_1...S_n$ 的任意子串和其他任意的子串了.

如果我想…实际的比较?

我们已经做了相等测试,如果我们想实际比较两个字符串怎么办?让我们考虑 $S_1$ 和 $S_2$ 的实际比较是怎样进行的.我们查找 $S_1$ 和 $S_2$ 的第一个不同的字符并做比较.所以查找 $S_1$ 和 $S_2$ 有多少字符匹配就足够了.我们可以二分查找这个数字,因为字符串相等测试可以在常数时间内完成,所以strcmp()现在是 $log(n)$ 的时间了.

你骗人!
你需要在开始时计算并且存储P,而这并没有计算在你的”常数时间”内.

确实如此,但是你首先需要把这些字符串先存起来,你需要花费时间来读入,花费空间来存放.计算P需要1个时间的花费,如果你能承受初始时将这些字符串都读进来的花费,你一定能承受这1个时间的花费.

如果 $M$ 是 $10^9 + 7$ , 计算 $2^{M-1}$ 代价很大.

确实如此,你应该预处理算出所有需要的2的幂,特别的:$2^0,2^1,...,2^{|S|-1}, 2^{M-1}, 2^{M-2}, 2^{M-|S|}$ .这是另外2|S|的需要预处理的东西,所以,再说一遍,这很廉价.

这并不是真的有效,它有 $1/M$ 的几率是错的.

确实如此,如果你担心,你可以用和定义H同样的方法来定义 $H2$ (除了你需要给 $H2(c)$ 一个不同的值),两个字符串相等则需要 $H(S_1)==H(S_2)$ && $H2(S_1)==H2(S_2)$ ,这样错的可能性就降到了 $1/M^2 = 1/10^{18}$ ,这样应该能使你高兴.除非你是Goolge或者是其他什么才会定义$H3,H4$甚至是$H5$.

但这还是错的,就算仅有$1/10^{45}$的几率是错的,这依然是错的.

不,这真的不会的,你知道宇宙射线实际上会使内存上的某些bit位反转?(这是不是很酷?)Intel估计每256MB的内存每个月发生一次会这样的情况?所以宇宙射线选择某个确切的时钟周期并反转了你正在做比较的bit位的几率大约是 $1/10^{24}$ ,但是你不要到处乱说
“我的程序因为宇宙射线而不是很对.”你甚至从未考虑到宇宙射线,那又为什么去把时间浪费在担心这 $1/10^{45}$ 的几率的失败?