4、信息检索与超文本：原理、算法及应用

信息检索与超文本：原理、算法及应用

1. 信息检索概述

信息检索（IR）旨在从大型集合中找出满足信息需求的非结构化材料，如文档、图形、语音和视频等，这些材料通常存储在计算机中。搜索信息一直是人类面临的挑战，可追溯到公元前三世纪甚至更早。核心问题是，给定一个查询，如何找到相关的信息源？

为解决这一问题，信息检索研究催生了多种方法和技术，用于表示查询和文档，并找出最相关的文档：
- 布尔模型 ：将文档视为一组单词。
- 向量空间模型 ：把文档看作单词向量。
- 概率模型 ：将查询与文档的相似度视为概率，可作为布尔模型和向量空间模型的一部分。

2. 布尔模型

早期的信息检索工作侧重于将用户查询转换为布尔表达式，并在构成每个文档的单词集合中寻找精确匹配。例如，查询“莎士比亚的哪些戏剧是关于布鲁图斯和恺撒，但不关于卡尔普尼亚的？”，其主要思路是记录每部戏剧是否包含这些单词。

2.1 优缺点

• 优点 ：实现简单，能确切知道查询结果，因为单词要么与文档匹配，要么不匹配。
• 缺点 ：结果不排序，不考虑词的权重，语义处理能力差，无法处理同义词或否定情况。例如，查询“鸟类”相关文档时，可能会检索到包含“本文档不关于鸟类”的文档。

2.2 扩展布尔模型

为克服上述缺点，开发了扩展布尔模型。例如，引入邻近运算符，只有当查询中的某些