算法——后缀自动机

后缀自动机初相识

在字符串处理的广袤领域中，后缀自动机（Suffix Automaton，简称 SAM）宛如一颗璀璨的明珠，散发着独特的魅力。它是一种强大的数据结构，如同一位技艺精湛的工匠，能够高效地处理各种复杂的字符串问题，为我们在字符串的迷宫中指引方向。

后缀自动机可以被看作是一个有向无环图（DAG），其中每个顶点代表一个状态，每条有向边则表示状态之间的转移。在这个奇妙的图中，从初始状态出发，沿着任意路径前进，将路径上经过的边所标记的字符依次连接起来，得到的字符串必然是原字符串的一个子串。反之，原字符串的每一个子串也都能在这个图中找到对应的唯一路径。这种一一对应的关系，使得后缀自动机能够简洁而高效地存储和表示字符串的所有子串信息 ，就像是一个精心整理的图书馆，每一本书（子串）都能在书架（后缀自动机）上迅速找到。

例如，对于字符串 “abab”，其后缀自动机可以形象地表示为一个包含多个状态和转移边的图。从初始状态开始，通过转移边依次经过字符 ‘a’、‘b’、‘a’、‘b’，可以得到原字符串的所有子串，如 “a”、“ab”、“aba”、“abab” 等。每个子串都对应着图中的一条路径，这种直观的映射关系，让我们能够更清晰地理解后缀自动机的工作原理。

后缀自动机的原理剖析

（一）基本概念

后缀自动机是接收字符串所有后缀的最小化确定有限状态自动机。从直观上来看，它是一张有向无环图（DAG） ，其中的顶点代表状态，边代表状态之间的转移。它存在一个特殊的初始状态，从这个初始状态出发，可以到达其余的所有状态。自动机中的每一条转移边都被特定的符号标记，且从同一个状态出发的不同转移边，其标记的符号是不同的。同时，存在一个或多个状态被标记为终止状态，从初始状态出发，沿着任意路径走到终止状态，将路径上经过的边的标记依次连接起来，所得到的字符串必定是原字符串的一个后缀 。并且，后缀自动机是在满足上述条件的所有自动机中，顶点数最少的那个。

（二）关键性质

子串信息完备性：后缀自动机包含了原字符串的所有子串信息。这意味着，从初始状态出发，沿着自动机中的任意路径前进，将路径上的边的标记依次连接起来，所得到的字符串必然是原字符串的一个子串；反之，原字符串的任意一个子串，都能在后缀自动机中找到一条对应的路径 。这种一一对应的关系，使得后缀自动机成为了一个高效存储和处理字符串子串信息的数据结构。

endpos 概念及性质：对于原字符串的任意非空子串 $t$，定义 $endpos(t)$ 为 $t$ 在原字符串中所有出现位置的终点集合。例如，对于字符串 “banana”，子串 “ana” 的 endpos(ana)={3,5}endpos(ana)=\{3, 5\}endpos(ana)={3,5}。两个子串 $t_1$ 和 $t_2$，如果 $endpos(t_1)=endpos(t_2)$，则称它们是终点等价的。所有非空子串可以根据终点等价性分成若干类。在后缀自动机中，每个状态对应一个或多个拥有相同终点集合的子串，即后缀自动机中的状态数等于所有子串的终点等价类个数加上初始状态。关于 $endpos$ 还有以下重要性质：

若两个非空子串 $u$ 和 $v$（$|u|\le |v|$）终点等价，那么 $u$ 在原字符串中仅作为 $v$ 的后缀出现。

对于两个非空子串 $u$ 和 $v$（$|u|\le |v|$），它们的终点集合要么不相交，要么 $endpos(v)$ 是 $endpos(u)$ 的子集，这取决于 $u$ 是否是 $v$ 的后缀。

将一个终点等价类中的子串按长度递减排序，每个子串都是前一个子串的后缀，它们的长度依次取区间 $[x,y]$ 内的所有数 。

后缀链接（suffix link）：对于后缀自动机中除初始状态外的某个状态 $v$，设与该状态对应的子串集合中最长的子串为 $w$，那么存在一个 $w$ 的后缀 $t$，它是 $w$ 的最长后缀且与 $w$ 不在同一个终点等价类中，从状态 $v$ 到对应 $t$ 的状态的链接就是后缀链接，记为 $link(v)$。所有的后缀链接构成了一棵以初始状态为根的树，称为后缀链接树。通过后缀链接，可以方便地在后缀自动机中进行各种操作，例如查找某个子串的最长公共后缀等。 后缀链接的存在，进一步增强了后缀自动机处理字符串问题的能力，使得我们能够在更复杂的字符串操作中，高效地利用后缀自动机的结构。

后缀自动机的构建算法

（一）在线构建算法解析

后缀自动机的构建算法中，在线构建算法是一种非常高效且常用的方法。它的核心思想是通过逐步添加字符的方式，动态地构建后缀自动机。这种方式就像是在搭建一座积木塔，每添加一个字符，就像是在塔上添加一块积木，不断完善整个结构 。

下面我们以一个具体的字符串为例，详细解释在线构建算法的每一步。假设我们要构建字符串 “abab” 的后缀自动机。首先，我们初始化后缀自动机，它包含一个初始状态，这个初始状态就像是一个起点，所有的构建都从这里开始。

然后，我们开始逐个添加字符。当添加第一个字符 ‘a’ 时，我们从初始状态出发，创建一个新的状态，这个新状态表示字符串 “a”。从初始状态到这个新状态有一条标记为 ‘a’ 的边，表示通过 ‘a’ 可以从初始状态转移到这个新状态。此时，后缀自动机中只有两个状态和一条边。

接着添加字符 ‘b’。我们从当前表示字符串 “a” 的状态出发，发现没有标记为 ‘b’ 的边，于是创建一个新的状态，表示字符串 “ab”，并在表示 “a” 的状态和这个新状态之间添加一条标记为 ‘b’ 的边。此时，后缀自动机中已经有了三个状态和两条边，它可以表示字符串 “a” 和 “ab”。

当添加第三个字符 ‘a’ 时，从表示 “ab” 的状态出发，没有标记为 ‘a’ 的边，所以创建新状态表示 “aba”，并添加相应的边。此时，后缀自动机的结构进一步丰富，能够表示更多的子串。

在添加字符的过程中，还涉及到后缀链接的更新。后缀链接的作用是将一个状态连接到它所代表的最长子串的最长后缀所在的状态。例如，对于表示 “aba” 的状态，它的后缀链接会指向表示 “a” 的状态，因为 “a” 是 “aba” 的最长后缀且与 “aba” 不在同一个终点等价类中。通过后缀链接，我们可以方便地在后缀自动机中进行各种操作，如查找最长公共后缀等。

在实际的代码实现中，我们可以使用结构体来表示后缀自动机的状态，每个状态包含转移边的信息、后缀链接以及该状态所代表的子串的长度等。以下是一个简化的 C++ 代码示例，用于构建后缀自动机：

const int MAXN = 100005;

const int CHARSET = 26;

struct SuffixAutomaton {

   int ch[MAXN * 2][CHARSET];

   int len[MAXN * 2];

   int fa[MAXN * 2];

   int sz, last;

   SuffixAutomaton() {

       sz = last = 1;

   }

   void extend(int c) {

       int p = last;

       int np = ++sz;

       last = np;

       len[np] = len[p] + 1;

       for (; p &&!ch[p][c]; p = fa[p]) {

           ch[p][c] = np;

       }

       if (!p) {

           fa[np] = 1;

       } else {

           int q = ch[p][c];

           if (len[q] == len[p] + 1) {

               fa[np] = q;

           } else {

               int nq = ++sz;

               len[nq] = len[p] + 1;

               fa[nq] = fa[q];

               fa[q] = fa[np] = nq;

               memcpy(ch[nq], ch[q], sizeof(ch[q]));

               for (; p && ch[p][c] == q; p = fa[p]) {

                   ch[p][c] = nq;

               }

           }

       }

   }

};

在这段代码中，extend 函数用于添加一个字符。首先创建一个新的状态 np，并更新其长度。然后通过 p 从当前的最后一个状态开始，沿着后缀链接向上查找，对于没有指向 np 的转移边的状态，添加这条转移边。如果 p 最终变为 0，说明没有找到之前已经存在的以 c 为转移边的状态，那么 np 的后缀链接就指向初始状态。如果找到了这样的状态 q，并且 q 的长度等于 p 的长度加 1，说明 q 就是 np 的后缀链接应该指向的状态。否则，需要创建一个新的状态 nq，将 q 的信息复制到 nq，并调整后缀链接和转移边，以保证后缀自动机的正确性。

（二）复杂度分析

后缀自动机的构建算法在时间和空间复杂度上都表现出了优秀的性能。在时间复杂度方面，对于长度为 $n$ 的字符串，在线构建后缀自动机的时间复杂度为 $O(n)$。这是因为在添加每个字符时，虽然有循环操作，但每个状态最多被访问一次，并且每次访问的操作都是常数时间的，所以总体时间复杂度是线性的。例如，在构建字符串 “abab” 的后缀自动机时，我们添加四个字符，每个字符的添加过程中，状态的遍历和操作都是有限的，不会随着字符串长度的增加而出现指数级的增长。

在空间复杂度上，后缀自动机的状态数最多为 $2n-1$，其中 $n$ 是字符串的长度。这是因为后缀自动机是一个有向无环图，每个状态代表一个或多个子串的等价类，随着字符的添加，新的状态不断产生，但总体数量是有限的。每个状态需要存储转移边和后缀链接等信息，假设字符集大小为 $m$，那么每个状态需要 $O(m)$ 的空间来存储转移边，所以后缀自动机的空间复杂度为 $O(nm)$。当字符集大小 $m$ 为常数时，空间复杂度可以近似看作 $O(n)$。这种优秀的时空复杂度，使得后缀自动机在处理长字符串时具有很大的优势，能够高效地存储和处理字符串的各种信息 。例如，在处理一篇很长的文档时，后缀自动机可以快速地构建并提供对文档中各种子串的查询和分析能力，而不会占用过多的内存和时间。

后缀自动机的应用领域

（一）字符串匹配

在文本处理的众多场景中，字符串匹配是一项基础而关键的任务。后缀自动机凭借其独特的结构和高效的算法，在字符串匹配领域展现出了卓越的性能。例如，在搜索引擎中，当用户输入关键词进行搜索时，搜索引擎需要在海量的文本数据中快速查找包含该关键词的文档。后缀自动机可以将文档内容构建成后缀自动机，然后通过在后缀自动机上进行模式匹配，迅速定位到关键词在文档中的所有出现位置 。

具体实现时，我们从后缀自动机的初始状态开始，根据待匹配字符串的字符依次沿着转移边进行状态转移。如果在某个状态下能够成功匹配当前字符并转移到下一个状态，就继续匹配下一个字符；如果无法转移，则说明待匹配字符串在该位置不匹配。当成功匹配完待匹配字符串的所有字符时，就找到了一个匹配位置。例如，对于文本字符串 “banana” 和模式字符串 “ana”，我们从后缀自动机的初始状态出发，依次匹配字符 ‘a’、‘n’、‘a’，沿着相应的转移边成功到达目标状态，从而确定 “ana” 在 “banana” 中出现的位置。这种匹配方式的时间复杂度为 $O(m)$，其中 $m$ 是待匹配字符串的长度，相比传统的暴力匹配算法，大大提高了匹配效率。

（二）子串统计

后缀自动机在子串统计问题上也有着出色的表现。统计不同子串个数是字符串处理中的一个常见问题，利用后缀自动机可以轻松解决。由于后缀自动机包含了原字符串的所有子串信息，我们可以通过对后缀自动机的状态进行分析来统计不同子串的个数。每个状态所代表的子串集合中，不同长度的子串都是不同的，并且不同状态所代表的子串集合也是不同的。因此，我们可以通过累加每个状态所代表的不同长度子串的数量来得到不同子串的总个数 。

以字符串 “abab” 为例，其后缀自动机中的每个状态对应着不同的子串集合。初始状态代表空串，从初始状态出发，通过不同的转移边可以到达代表 “a”、“ab”、“aba”、“abab” 等子串的状态。每个状态所代表的子串集合中，子串的长度是不同的，我们可以通过计算每个状态所代表的子串集合中不同长度子串的数量，然后将所有状态的数量累加起来，就得到了字符串 “abab” 的不同子串个数。在实际代码实现中，可以通过深度优先搜索（DFS）或拓扑排序等方法遍历后缀自动机的状态，统计不同子串的个数。

统计子串出现次数也是后缀自动机的一个重要应用。我们可以在构建后缀自动机的过程中，记录每个状态所代表的子串的出现次数。当处理完整个字符串后，通过后缀链接和状态转移关系，可以计算出每个子串的出现次数。例如，对于字符串 “banana”，我们可以通过后缀自动机计算出子串 “ana” 出现的次数。这种方法在处理大规模文本数据时，能够高效地统计出各种子串的出现情况，为文本分析提供有力的支持。

（三）其他应用场景拓展

后缀自动机的应用不仅仅局限于字符串处理领域，它在计算机视觉领域也有着广泛的应用前景。在图像分割中，后缀自动机可以将图像的像素信息或特征信息看作是字符串，通过构建后缀自动机来寻找图像中的相似区域或模式，从而实现图像的分割。例如，在医学图像分析中，后缀自动机可以帮助医生快速准确地分割出病变区域，为疾病的诊断和治疗提供重要的依据。

在目标检测中，后缀自动机可以用于提取目标物体的特征字符串，并通过在图像中搜索这些特征字符串来检测目标物体的存在和位置。这种方法能够有效地处理复杂背景下的目标检测问题，提高检测的准确性和效率。例如，在自动驾驶系统中，后缀自动机可以帮助车辆快速识别道路上的行人、车辆等目标物体，保障行车安全。

后缀自动机作为一种强大的数据结构，在多个领域都有着重要的应用价值。随着技术的不断发展和创新，后缀自动机的应用场景还将不断拓展，为解决各种复杂问题提供新的思路和方法。

实战演练：后缀自动机解题实例

（一）题目描述

给定一个长度为 $n$ 的字符串 $s$，由小写英文字母组成，求该字符串中不同子串的个数 。例如，对于字符串 “abab”，其不同子串有 “a”、“b”、“ab”、“ba”、“aba”、“bab”、“abab”，共 7 个。

（二）思路分析

根据后缀自动机的性质，每个状态对应一个或多个具有相同终点集合的子串。对于每个状态，其代表的不同子串数量等于该状态所代表的最长子串长度减去其后缀链接所指向状态代表的最长子串长度（因为后缀链接指向的是其最长后缀且不在同一终点等价类的状态）。

我们可以通过构建后缀自动机，然后遍历后缀自动机的所有状态，累加每个状态所代表的不同子串数量，从而得到字符串中不同子串的总数。在构建后缀自动机时，使用在线构建算法，按照字符顺序依次添加字符，动态更新后缀自动机的结构 。

（三）代码实现与解析

下面是使用 C++ 实现的代码：

#include <iostream>

#include <cstring>

using namespace std;

const int MAXN = 100005;

const int CHARSET = 26;

struct SuffixAutomaton {

   int ch[MAXN * 2][CHARSET];

   int len[MAXN * 2];

   int fa[MAXN * 2];

   int sz, last;

   SuffixAutomaton() {

       sz = last = 1;

   }

   void extend(int c) {

       int p = last;

       int np = ++sz;

       last = np;

       len[np] = len[p] + 1;

       for (; p &&!ch[p][c]; p = fa[p]) {

           ch[p][c] = np;

       }

       if (!p) {

           fa[np] = 1;

       } else {

           int q = ch[p][c];

           if (len[q] == len[p] + 1) {

               fa[np] = q;

           } else {

               int nq = ++sz;

               len[nq] = len[p] + 1;

               fa[nq] = fa[q];

               fa[q] = fa[np] = nq;

               memcpy(ch[nq], ch[q], sizeof(ch[q]));

               for (; p && ch[p][c] == q; p = fa[p]) {

                   ch[p][c] = nq;

               }

           }

       }

   }

};

int main() {

   string s;

   cin >> s;

   SuffixAutomaton sam;

   for (int i = 0; i < s.length(); i++) {

       sam.extend(s[i] - 'a');

   }

   long long ans = 0;

   for (int i = 2; i <= sam.sz; i++) {

       ans += sam.len[i] - sam.len[sam.fa[i]];

   }

   cout << ans << endl;

   return 0;

}

代码解析：

结构体定义：SuffixAutomaton 结构体定义了后缀自动机的相关信息，包括状态转移数组 ch、子串长度数组 len、后缀链接数组 fa，以及当前状态数量 sz 和最后一个状态 last。

extend** 函数**：用于向后缀自动机中添加一个字符。首先创建一个新状态 np，其长度为前一个状态 p 的长度加 1。然后从 p 开始，沿着后缀链接向上查找，对于没有指向 np 的转移边的状态，添加这条转移边。如果找到了这样的状态 q，并且 q 的长度等于 p 的长度加 1，说明 q 就是 np 的后缀链接应该指向的状态。否则，需要创建一个新的状态 nq，将 q 的信息复制到 nq，并调整后缀链接和转移边 。

主函数：读取输入字符串，逐个字符添加到后缀自动机中。最后，遍历后缀自动机的所有状态（从状态 2 开始，因为状态 1 是初始状态，不代表实际子串），累加每个状态所代表的不同子串数量，即 len[i] - len[fa[i]]，得到不同子串的总数并输出。

总结与展望

后缀自动机作为一种强大而高效的数据结构，在字符串处理领域展现出了独特的魅力和卓越的性能。它通过巧妙的状态压缩和转移机制，能够以线性的时空复杂度处理各种复杂的字符串问题，为我们解决实际问题提供了有力的工具。

从原理上看，后缀自动机基于字符串的后缀信息和 endpos 等价类的概念，构建了一个紧凑而高效的有向无环图结构。这种结构不仅能够完整地表示字符串的所有子串，还通过后缀链接等特性，为各种字符串操作提供了便捷的途径。

在构建算法上，在线构建算法的巧妙设计使得后缀自动机能够逐步添加字符，动态地构建出完整的结构，并且保证了线性的时间复杂度。这种高效的构建方式使得后缀自动机在处理大规模字符串数据时具有明显的优势。

在应用方面，后缀自动机广泛应用于字符串匹配、子串统计等多个领域，为文本处理、信息检索、生物信息学等实际问题提供了高效的解决方案。通过实际的代码实现和案例分析，我们也看到了后缀自动机在解决具体问题时的强大能力和灵活性。

然而，后缀自动机的学习和应用也并非一蹴而就，需要我们深入理解其原理和算法，通过大量的实践来掌握其使用技巧。同时，随着技术的不断发展，我们也可以期待后缀自动机在更多领域得到应用和拓展，与其他技术相结合，产生更多创新的解决方案。希望读者能够通过本文的介绍，对后缀自动机有更深入的理解和认识，并在实际项目中充分发挥它的优势，解决更多的实际问题。