大规模数据去重——后缀数组

前言

一开始从李沐那里听到的这个去重算法，记得是说把所有数据拼成一个长度为n的长字符串，然后从后往前切，形成n个后缀字符串，再字典排序，只要有两个断点处有部分重复的子串，它们在字典排序后挨得就近，就容易找到重复数据。
实际的后缀排序方法为了降低复杂度做了很多优化。
有倍增算法+基数排序，即先排序长度为1的字符块，然后基于它再排序长度为2的字符块，再是长度为4…并且如果长度不够，就在排序上给一个绝对领先的位置——0.
上面的方法还算好理解，另一个叫做诱导排序（Suffix Array Induced Sorting）的方法很难理解，缩写是SA-IS，是中山大学农革教授组于2009年发表的。2015年又发表了一篇对该算法实现的改进。它是目前求后缀数组最快的方法。太难了，有机会再学。

倍增算法+基数排序

对于字符串$$abcaab$$
它的后缀有
$$abcaab,bcaab,caab,aab,ab,b$$
排序后，有
$$ab,aab,abcaab,b,bcaab,caab$$
设置i为后缀排名，即abcaab对应的i是1，aab对应2。

定义以下函数：
$sa(i):$后缀排序后，第i位的后缀在排序前所在的位置。例如aab对应的i为2，则$sa(2)=4$，说明aab在上面切好的后缀的第4位。

$rank(j):$刚切完的第j个后缀序列(未排序)在排序后所在的排名。例如abb对应j为4，则$rank(4)=2$。

显然，我们切的后缀子串不可能有完全重复的项，因为至少长度上不相同。那么，每个后缀子串有唯一的切分后/排序前序号，也就有唯一的排序后序号，这形成了一个双射。总之，如果一个后缀子串对应某一对$(i,j)$，则有$sa(rank(j))=j$，$rank(sa(i))=i$。

算法如下：

1. 以aabaaaab为例，第1次排序仅排序a,a,b,a,a,a,a,b。如果重复了，排序就相同。如图所示，比较简单，是简单的rank。
2. 然后考虑排序aa,ab,ba,aa,aa,aa,ab,bx。x代表缺位，排序时缺位总是排在前面，因为它比其他的更短。能看到，这次切分是从每个token往后多加一个，实际上是长度*2，以利用到刚刚得到的rank值。此时每个token位得到两个rank值，基于此rank值再排序得到新rank。
3. 可以发现，这是在分治地得到长度为$2^n$的字符串的排序。经此迭代，当$2^n$比当前字符串长度更大时，我们就已经得到了所有后缀字符串的排序。例如下图里，第4次排序得到长度为8的字符串的排序，就是aabaaaab,abaaaabx,baaaabxx,aaaabxxx,aaabxxxx,aabxxxxx,abxxxxxx,bxxxxxxx的排序，而在我们“x排最前面”的规则，且排序过程中遇不到同时有俩都是x的时候，所以我们的排序策略可以顺利进行，且和“长短不一字符串排序”的结果一样。

偷的图，来源这里