7、信息检索模型：向量空间与查询似然的探索

信息检索模型：向量空间与查询似然的探索

在信息检索领域，设计有效的排名函数是核心任务之一，而这依赖于合适的检索模型。接下来将深入探讨两种主要的信息检索模型：向量空间模型和查询似然模型。

1. 检索模型概述

多年来，研究人员设计了多种不同类型的检索模型，主要可分为以下几类：
- 基于相似度的模型 ：假设如果一个文档与查询的相似度比另一个文档高，那么第一个文档就更相关。向量空间模型就是这类模型的典型代表。
- 概率检索模型 ：将查询和文档视为随机变量的观测值，并引入一个二进制随机变量 R 来表示文档与查询的相关性。经典概率模型、语言建模方法和偏离随机性模型都属于此类。其中，查询似然检索模型是一种特殊的语言建模方法。
- 概率推理模型 ：将不确定性与推理规则相关联，理论上很有吸引力，但实际中常简化为类似于向量空间模型或常规概率检索模型的形式。
- 公理化思维模型 ：定义一组约束条件，希望一个好的检索函数能够满足这些条件。公理化检索框架在诊断检索模型的缺陷和开发改进的检索模型方面已被证明是有效的。

尽管提出了许多模型，但只有少数经过大量实验验证，证明是有效和稳健的。常见的有效模型包括 BM25、枢轴长度归一化、使用 JM 平滑的查询似然模型和使用 Dirichlet 先验平滑的查询似然模型。

2. 检索函数的通用形式

先进的检索模型通常基于词袋表示法。以查询“presidential campaign news”为例，文档 d 的得分基于每个查询词的得分。