38、超大字母表上广义后缀树的快速构建

超大字母表上广义后缀树的快速构建

1. 引言

在Web用户的最大前向引用集合中挖掘频繁（或最长频繁）子串具有重要意义。这里的最大前向引用可理解为URL字符串。挖掘出的模式（或知识）可用于预测Web用户的去向，即他们的搜索目标，这有助于构建和维护实时智能Web服务器，使其能够动态调整设计以满足用户需求。通过预取和缓存，还能显著减少用户多年来一直感知到的Web延迟。此外，它还能帮助管理人员预测用户需求趋势，从而调整产品以吸引更多现在和未来的用户（和客户）。另一个应用场景是文档聚类，将文档的简短摘要视为关键词字符串，并为一组这样的字符串构建广义后缀树，以将文档分组到不同的簇中。

在挖掘频繁遍历路径模式时，数据集具有特定属性：
- 字符串集合（或最大前向引用）的大小非常大，从兆字节到千兆字节不等。
- 字母表的大小（或唯一URL的数量）非常大，从数千到数万甚至更多。
- 所有字符串的长度 ≤30（源自给定的Web日志会话化参数设置）。
- 超过90%的字符串长度小于或等于4，平均长度约为2.04。

2. 问题描述

用Σ表示字母表，|Σ|表示其大小。对于任何字符串s ∈Σ∗，|s|表示其大小，即s中所有字母出现的次数。对于任何字符串集合S，|S| = ∑s∈S |s|。当S存储为文件时，|S|也指S的字节数。本文旨在研究在以下条件下为字母表Σ上的字符串集合S快速构建广义后缀树：
- |Σ|非常大，从数千到数万甚至更多。
- |S| = ∑s∈S |s|，字符串集合的大小非常大，从兆字节到千兆字节甚至更多。
- 对于每个字符串s ∈S，|s| ≤α，其中α是一个小常数。

根据具体