21、跨语言随机索引在信息检索中的应用

跨语言随机索引在信息检索中的应用

1. 引言

在信息检索领域，经典的向量空间模型（VSM）将文档和查询表示为高维向量空间中的向量，通过计算查询向量与文档向量之间的余弦相似度来检索相关文档。但标准 VSM 无法处理语义相关的术语，如同义词。为此，潜在语义索引（LSI）应运而生，它通过降维来挖掘术语间的潜在分布相似性。然而，LSI 计算成本高昂，难以扩展到大型文档集合。

随机索引（RI）作为一种基于稀疏分布式内存原理的迭代索引方法，最初被提出作为 LSI 的一种更简单、更廉价的替代方案。它能以较低的计算成本提供可比的结果，并且具有完全增量性，允许在不重新计算现有模型的情况下添加新文档。目前，关于 RI 在信息检索中的应用研究较少，因此本文将对 RI 在单语和跨语言信息检索中的性能进行评估。

2. 单语信息检索中的随机索引

2.1 直接随机索引

直接随机索引可以看作是一种压缩标准术语 - 文档或术语 - 术语矩阵的方法。具体操作步骤如下：
1. 为文档集合中的每个术语分配一个唯一的索引向量。这些索引向量是高维的，但通常比唯一术语的总数小得多。它们是非常稀疏的随机初始化向量，除了几个随机选择的 1 和 -1 外，大部分元素为零，因此在向量空间中彼此“近乎正交”。
2. 通过对文档中出现的所有术语的索引向量求和，得到文档向量。这可以选择性地包括术语加权和向量长度归一化。

查询向量同样通过对其所有术语的（加权）索引向量求和来构建。

2.2 间接随机索引

使用滑动窗口的 RI 对文本语料库进行索引采用了不同的方法，涉及以下步骤：
1. 为文档集合中的每个