7、探索用于超文本文档聚类的遗传算法

探索用于超文本文档聚类的遗传算法

1. 引言

随着互联网上信息的爆炸式增长，我们正面临着信息检索和索引的新挑战。为了帮助用户更高效地找到所需信息，智能技术如神经网络、符号学习和遗传算法被广泛应用。其中，遗传算法因其强大的搜索和优化能力，尤其适用于文档聚类。本文将详细介绍一种基于遗传算法的超文本文档群集分析系统——SAGH（超文本分组遗传分析系统），并展示其在不同数据集上的应用结果。

2. SAGH系统架构与工作流程

2.1 创建术语向量

SAGH系统的第一个模块负责创建术语向量。该模块首先去除HTML代码、脚本、语言标签、链接、表格和图像锚点等非文本内容，仅保留纯文本。接下来，使用波特算法进行词干提取，以消除词缀，防止对根本关键词的低估。此外，该模块还提供了丢弃停用词或根本空缺（无词缀的停用词）的选项，以减少显著单词的数量，提高系统的性能。

每个分析的文档生成一个包含非停用词的词根及其在文本中出现次数的术语向量（向量-文档）。这个过程可以总结为以下几个步骤：

1. 去除HTML标签 ：解析HTML文档，提取纯文本内容。
2. 词干提取 ：使用波特算法去除词缀。
3. 停用词过滤 ：移除常见的无意义词汇。
4. 生成术语向量 ：统计每个词根的出现次数，生成向量。

2.2 向量分类

向量分类模块根据以下标准对术语向量进行排序：