44、网页去重与机器人集体构建算法研究

网页去重与机器人集体构建算法研究

在当今信息爆炸的时代，网页去重和机器人集体构建是两个备受关注的领域。网页去重有助于提高搜索引擎的效率和准确性，而机器人集体构建则在建筑、救援等领域有着广泛的应用前景。下面将详细介绍相关的算法和实验。

网页去重算法

在网页去重研究中，面临着如何设计一种算法，使特征字符串能在一定程度上跟随子主题变化，同时具有合理指纹数量的问题。为此，引入了TextTiling算法，该算法可根据子主题的转移将文档分割成多个独立的片段。

TextTiling算法及改进

TextTiling算法通过术语重复来发现子主题结构，主要包括三个部分：
1. 分词（Tokenization） ：使用中文分词技术将整个文档分割成多个单词和短语，这些单词和短语被称为Token。然后将它们细分为不同的单元，每个单元具有预定义的大小w，这些单元被称为Token序列。每个Token存储其频率，写为：Tokeni=(ti, fi)（f是该Token的频率）。
2. 词汇得分确定（Lexical Score Determination） ：确定每个Token序列间隙的得分。采用块比较方法，权重由Token频率决定，每个Token的频率由其在块中出现的次数设置。每k（k是文本段落的平均长度）个Token序列组成一个块。
3. 边界识别（Boundary Identification） ：计算每个Token序列间隙的深度得分。深度得分对应于给定Token序列间隙两侧子主题线索变化的强烈程度。边界识别通常包括三个步骤：计算深度得分、平滑