20、视觉与文本信息融合在多媒体信息检索中的应用与研究

视觉与文本信息融合在多媒体信息检索中的应用与研究

在信息检索领域，传统的文本检索已经相当成熟，但随着多媒体数据的日益丰富，如何有效地融合视觉和文本信息进行检索成为了研究热点。本文将介绍一种基于词袋模型的多媒体信息检索（IR）模型，该模型结合了文本和视觉信息，并通过实验评估了视觉信息对多媒体IR的影响。

1. 信息检索系统的类型

信息检索系统主要分为以下几类：
- 图像搜索系统 ：如QBIC和TinEye，允许用户通过图像进行搜索。
- 草图搜索系统 ：像Gazopa和Retrievr，支持用户绘制草图来查找相关图像。
- 同时处理文本和视觉特征的系统 ：例如PicHunter系统，旨在根据用户的操作预测其目标；Picitup系统则允许用户先定义文本查询，然后使用视觉元素（如图像、类别、颜色、形状等）过滤结果。

2. 视觉与文本结合的信息检索方法

我们提出了一种结合文本和视觉信息的方法，从给定文本查询返回的第一批文档开始，系统会自动或半自动地（即询问用户对第一批返回文档的反馈）向原始文本查询中添加一些视觉术语，以丰富查询内容。

3. 研究目标

• 研究如何估计视觉信息相对于文本信息的权重 ：我们建议使用IR集合作为学习集，自动学习这个权重。
• 检查每种信息类型的最佳权重是否因查询类型而异 ：以及为每个查询估计特定权重是否能显著改善结果。例如，对于“动物”或“车辆”等概