视觉与文本信息融合在多媒体信息检索中的应用与研究
在信息检索领域,传统的文本检索已经相当成熟,但随着多媒体数据的日益丰富,如何有效地融合视觉和文本信息进行检索成为了研究热点。本文将介绍一种基于词袋模型的多媒体信息检索(IR)模型,该模型结合了文本和视觉信息,并通过实验评估了视觉信息对多媒体IR的影响。
1. 信息检索系统的类型
信息检索系统主要分为以下几类:
-
图像搜索系统
:如QBIC和TinEye,允许用户通过图像进行搜索。
-
草图搜索系统
:像Gazopa和Retrievr,支持用户绘制草图来查找相关图像。
-
同时处理文本和视觉特征的系统
:例如PicHunter系统,旨在根据用户的操作预测其目标;Picitup系统则允许用户先定义文本查询,然后使用视觉元素(如图像、类别、颜色、形状等)过滤结果。
2. 视觉与文本结合的信息检索方法
我们提出了一种结合文本和视觉信息的方法,从给定文本查询返回的第一批文档开始,系统会自动或半自动地(即询问用户对第一批返回文档的反馈)向原始文本查询中添加一些视觉术语,以丰富查询内容。
3. 研究目标
- 研究如何估计视觉信息相对于文本信息的权重 :我们建议使用IR集合作为学习集,自动学习这个权重。
- 检查每种信息类型的最佳权重是否因查询类型而异 :以及为每个查询估计特定权重是否能显著改善结果。例如,对于“动物”或“车辆”等概念,视觉信息的重要性相对较低,因为这些概念可以由非常不同的视觉特征描述。
4. 视觉和文本文档模型
4.1 一般框架
我们的多模态IR模型的全局架构如图1所示:
graph LR
classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px;
A([文档D和查询Q]):::startend --> B(索引组件):::process
B --> C(评分组件):::process
C --> D(线性组合组件):::process
D --> E([最相关文档]):::startend
该模型主要由三个组件组成:
-
索引组件
:对文档D和查询Q进行索引,两者都由文本和视觉信息组成。文本内容和视觉内容都用词袋表示。
-
评分组件
:根据查询,为每个文档和每种模态(文本和视觉)估计一个分数。
-
线性组合组件
:将每种模态获得的分数进行线性组合,以检索与查询最相关的文档。
4.2 文本文档模型
给定文档集合D和文档中出现的单词集合T = {t1, …, tj, …, t|T|},每个文档di ∈ D表示为权重向量wi,j(向量空间模型):di = (wi,1, …, wi,j, …, wi,|T|),其中wi,j是术语tj在文档di中的权重,通过tf.idf公式计算:
[w_{i,j} = tf_{i,j} * idf_j]
-
词频(tf)
:tfij是术语tj在文档di中的代表性特征,使用Okapi中定义并由Lemur系统实现的BM25加权函数的变体计算:
[tf_{i,j} = \frac{k_1 \times t_{i,j}}{t_{i,j} + k_1 \times (1 - b + b * \frac{|d_i|}{d_{avg}})}]
其中ti,j是术语tj在文档di中出现的次数,|di|是文档di的大小,davg是所有文档的平均大小,k1和b是两个常数。
-
逆文档频率(idf)
:idfj估计术语tj在文档语料库中的重要性,同样使用Lemur实现的BM25变体计算:
[idf_j = log \frac{|D| - df_j + 0.5}{df_j + 0.5}]
其中|D|是语料库的大小,dfj是术语tj至少出现一次的文档数量。
如果将查询qk视为一个短文档,也可以将其表示为权重向量。然后计算查询qk和文档di之间的分数:
[score_T(q_k, d_i) = \sum_{t_j \in q_k} tf_{i,j}idf_j * tf_{k,j}idf_j]
4.3 视觉文档模型
为了结合视觉和文本信息,我们也将图像表示为权重向量。使用tf.idf公式的前提是能够从图像中提取视觉单词,这需要一个视觉词汇表V = {v1, …, vj, …, v|V|},它通过以下两个步骤使用词袋方法构建:
1.
图像分割
:将集合D中的每个图像分割成16×16的规则网格,每个单元格至少有8×8像素。然后,使用基于梯度方向直方图的SIFT(尺度不变特征变换)视觉描述符描述每个单元格。SIFT将每个单元格转换为128维向量,使得每个图像成为向量的集合。
2.
视觉单词构建
:对视觉向量进行k-means聚类,视觉词汇表V的单词定义为聚类的中心,视觉词汇表的大小对应于聚类的数量。
这个视觉词袋类似于文本词袋,图像可以用视觉单词的直方图表示。通过计算视觉单词vj在图像中出现的次数vi,j(即分配给以vj为中心的聚类的单元格数量),可以使用tf.idf公式计算视觉单词的权重。最后,计算文档di和查询qk之间的视觉分数:
[score_V(q_k, d_i) = \sum_{v_j \in q_k} tf_{i,j}idf_j * tf_{k,j}idf_j]
4.4 结合文本和视觉信息
给定查询qk,文档di的全局分数通过线性组合每种模态的分数计算:
[score(q_k, d_i) = \alpha \times score_V(q_k, d_i) + (1 - \alpha) \times score_T(q_k, d_i)]
其中α是一个参数,用于调整视觉信息相对于文本信息的重要性。
5. 实验
5.1 ImageCLEF数据集
我们使用了ImageCLEF IR集合进行实验,该集合包含151,519个从Wikipedia提取的XML文档,每个文档包含一张图像(照片、绘图或绘画)和一段简短的文本,文本描述了图像,也可能包含有关所有者或版权的信息。
-
2008年数据集
:用作训练集,有75个查询,其中42个查询包含文本和视觉部分,33个仅包含文本部分。为了使所有查询的视觉信息获取方式一致,使用初步文本查询排名前两位的图像作为所有75个查询的视觉查询部分。
-
2009年数据集
:用作测试集,有45个查询,每个查询包含文本和视觉部分(平均每个查询1.84张图像)。
5.2 评估指标
使用了以下几种评估指标:
-
MAP(Mean Average Precision)
:所有查询的平均精度的平均值,是ImageCLEF竞赛的官方指标。
-
P10
:第10位的精度。
-
iP[0.1]
:10%召回率时的插值精度。
具体计算公式如下:
-
精度(Precision)
:
[P_k(N) = \frac{\sum_{r = 1}^{N} rel_k(r)}{N}]
-
召回率(Recall)
:
[R_k(N) = \frac{\sum_{r = 1}^{N} rel_k(r)}{|D_k|}]
-
平均精度(Average Precision)
:
[AP_k = \frac{\sum_{r = 1}^{N_k} (P_k(r) \times rel_k(r))}{|D_k|}]
其中relk(r)是一个二进制函数,如果第r个文档与查询qk相关,则为1,否则为0。
-
MAP计算
:
[MAP = \frac{\sum_{k = 1}^{|Q|} AP_k}{|Q|}] -
P10计算
:
[P10 = \frac{\sum_{k = 1}^{|Q|} P_k(10)}{|Q|}] -
iP[0.1]计算
:
[iP[0.1] = \frac{\sum_{k = 1}^{|Q|} iP_k[0.1]}{|Q|}]
其中:
[iP_k[0.1] =
\begin{cases}
\max_{1 \leq r \leq N_k} (P_k(r) | R_k(r) \geq 0.1) & \text{if } 0.1 \leq R_k(N_k) \
0 & \text{otherwise}
\end{cases}
]
5.3 实验方案
进行了多项实验,以评估考虑视觉信息对IR任务的影响,并研究融合参数α的影响:
-
学习α参数
:使用ImageCLEF 2008(或2009)集合中的查询作为训练集,计算全局优化结果的α值(α2008g或α2009g)。通过在训练集上进行步进搜索,找到使MAP等评估指标达到最佳的α值。我们使用了MAP指标,因为它是ImageCLEF竞赛中主要使用的指标。将学习到的α2008g值用于处理ImageCLEF 2009集合中的所有查询,比较α2008g和α2009g,以评估学习α的有效性。
-
α参数对评估指标的鲁棒性
:研究αg参数在不同评估指标下的稳定性,包括侧重于召回率的MAP指标和侧重于精度的P10、iP[0.1]指标,以确定视觉信息相对于文本信息的重要性如何随使用场景(召回导向或精度导向)而变化。
-
根据查询优化α参数
:研究模型性能如何随查询类型而变化。有些查询主要依赖文本信息,如“带狗的人”、“街头音乐家”;而另一些查询则更需要视觉信息,如“红色水果”、“真正的彩虹”。计算每个查询qk的优化α值(αk),并通过αk的均值和标准差来判断α参数随查询的变化情况,以及估计新查询的最佳αk值的方法的有效性。
-
全局方法与局部方法的比较
:
-
全局方法
:在训练集上优化评估指标(如MAPα、P10α、iP[0.1]α),找到使指标最大化的全局α值(αg),并将其应用于测试集的所有查询。
-
局部方法
:为每个查询qk找到优化APk、Pk(10)和iPk[0.1]指标的αk值。虽然局部方法理论上可以显著提高结果,但在实际应用中,由于新查询没有训练集,难以实施。我们通过在测试集上搜索αk值,定义了MAPαl指标(优化平均精度APk的平均值),以比较全局方法和局部方法。
5.4 模型设置
- 软件使用 :使用了lemur软件,并采用其默认参数。
- 参数设置 :BM25的k1参数设置为1。对于查询qk,由于|dk|和davg未定义,tfk,j计算时b设置为0;计算文档di和术语tj的tfi,j时,b设置为0.5。此外,未去除停用词,并应用了Porter词干提取算法。
- 视觉单词数量 :k-means的参数k(即视觉单词的数量)经验性地设置为10,000。
6. 实验结果
6.1 学习参数α
根据MAP指标,仅使用视觉信息的结果较差(MAP = 0.0085),而仅使用文本信息的结果较好(MAP = 0.1667)。然而,当给予视觉信息一定的重要性(α接近0.1)时,结果明显优于仅使用文本信息的情况。但当α过大(α > 0.1)时,结果质量会下降。
使用2008年学习集计算的α2008g值(α2008g = 0.084)将2009年集合中仅使用文本信息的结果提高了14.16%(MAP = 0.1903),与使用2009年集合自身优化的α2009g值(α2009g = 0.085,MAP = 0.1905)得到的最佳结果非常接近。这表明αg参数在不同集合之间具有较好的鲁棒性,学习αg是可行的。具体结果如下表所示:
|运行方式|MAP|相对于仅使用文本的增益|
| ---- | ---- | ---- |
|仅使用文本|0.1667| - |
|仅使用视觉|0.0085| -94.90%|
|文本 + 视觉(α2008g)|0.1903| +14.16%|
|文本 + 视觉(α2009g)|0.1905| +14.28%|
6.2 参数αg对评估指标的稳定性
对于更具体的评估指标,如P10和iP[0.1],α参数的稳定性不如MAP指标,尤其是在2009年集合上。2008年学习的α参数值(P10: α2008g = 0.140;iP[0.1]: α2008g = 0.108)与2009年的最优α值(P10: α2009g = 0.095;iP[0.1]: α2009g = 0.078)有较大差异。然而,通过α2008g对视觉信息进行加权,仍然显著提高了P10和iP[0.1]的结果。具体数据如下表:
|运行方式|P10|相对于仅使用文本的增益|iP[0.1]|相对于仅使用文本的增益|
| ---- | ---- | ---- | ---- | ---- |
|仅使用文本|0.2733| - |0.3929| - |
|仅使用视觉|0.0178| -93.49%|0.0160| -95.93%|
|文本 + 视觉(α2008g)|0.3267| +19.54%|0.4302| +9.49%|
|文本 + 视觉(α2009g)|0.3289| +20.34%|0.4466| +13.67%|
6.3 全局方法与局部方法:根据查询优化α
局部方法(为每个查询使用特定的αk参数)虽然理论上可以显著提高结果(相对于仅使用文本信息,MAP可提高29.99%、P10可提高52.87%、iP[0.1]可提高39.14%),但由于需要为每个新查询预先计算αk值,实施起来非常困难。不同查询的αk值差异较大,从αk的均值和标准差可以看出这一点。具体结果如下表:
|运行方式|相对于仅使用文本的增益|μαl(αk的均值)|σαl(αk的标准差)|
| ---- | ---- | ---- | ---- |
|MAP - 仅使用文本| - | - | - |
|MAP - 文本 + 视觉(αl)| +29.99%|0.080|0.063|
|P10 - 仅使用文本| - | - | - |
|P10 - 文本 + 视觉(αl)| +52.87%|0.055|0.058|
|iP[0.1] - 仅使用文本| - | - | - |
|iP[0.1] - 文本 + 视觉(αl)| +39.14%|0.083|0.072|
综上所述,我们提出的多媒体IR模型通过结合文本和视觉信息,在一定程度上提高了多媒体信息检索的效果。学习全局α值是可行的,并且在不同评估指标下,即使学习的α值与最优值有差异,仍然能显著改善结果。虽然局部方法理论上能带来更大的提升,但实际应用中面临挑战。未来的研究可以探索更有效的方法来估计每个查询的最佳α值,以进一步提高多媒体IR的性能。
视觉与文本信息融合在多媒体信息检索中的应用与研究
7. 实验结果分析
7.1 视觉信息权重的影响
从实验结果可以看出,视觉信息在多媒体信息检索中的作用并非一成不变。在不同的查询场景和评估指标下,视觉信息的权重对检索结果有着不同程度的影响。
- MAP指标下的情况 :在MAP指标下,当α接近0.1时,结合视觉和文本信息的检索结果优于仅使用文本信息的结果。这表明在注重整体召回率的情况下,适当引入视觉信息可以有效提升检索性能。但当α过大时,检索结果质量下降,说明过度强调视觉信息会破坏文本信息和视觉信息之间的平衡,导致检索结果不准确。
- P10和iP[0.1]指标下的情况 :对于P10和iP[0.1]这些更注重精度的指标,α参数的稳定性较差。这意味着在追求高精度检索时,视觉信息的权重更难把握。不同年份数据集上α的最优值差异较大,说明视觉信息的重要性在不同数据和查询场景下变化明显。不过,即使学习到的α值不是最优的,通过α参数对视觉信息进行加权,仍然能显著提高检索精度。
7.2 全局方法与局部方法的优劣
- 全局方法 :全局方法通过在训练集上找到一个最优的全局α值(αg),并将其应用于测试集的所有查询。这种方法的优点是简单易行,不需要为每个查询单独计算α值。从实验结果来看,使用2008年数据集学习到的α2008g在2009年数据集上取得了较好的效果,说明αg具有一定的鲁棒性。但全局方法的局限性在于它忽略了不同查询之间的差异,无法针对每个查询的特点进行优化。
- 局部方法 :局部方法为每个查询计算一个优化的α值(αk),理论上可以根据每个查询的具体需求调整视觉信息和文本信息的权重,从而获得更好的检索结果。实验结果显示,局部方法在MAP、P10和iP[0.1]指标上相对于仅使用文本信息都有显著的提升。然而,局部方法在实际应用中面临很大的挑战,因为为每个新查询预先计算αk值需要大量的训练数据和计算资源,而且不同查询的αk值差异较大,难以准确估计。
8. 结论与展望
8.1 研究结论
- 模型有效性 :我们提出的基于词袋模型的多媒体IR模型,通过线性组合文本和视觉信息,在多媒体信息检索中取得了一定的效果。实验表明,结合视觉和文本信息可以提高检索性能,尤其是在适当给予视觉信息一定权重的情况下。
- α参数学习 :学习全局α值是可行的,并且在不同数据集和评估指标下,学习到的α值即使不是最优的,也能显著改善检索结果。这说明通过训练集学习α参数可以为实际检索提供有效的参考。
- 查询类型影响 :不同类型的查询对视觉信息和文本信息的依赖程度不同。对于一些主要依赖文本信息的查询,视觉信息的重要性相对较低;而对于一些需要更多视觉特征的查询,视觉信息则起着关键作用。因此,在实际应用中,需要根据查询类型调整视觉信息的权重。
8.2 未来研究方向
- α值估计方法的改进 :虽然局部方法理论上可以带来更好的检索效果,但实际应用中难以实施。未来的研究可以探索更有效的方法来估计每个查询的最佳α值,例如利用机器学习算法,结合查询的语义信息、上下文信息等,自动为每个查询分配合适的α值。
- 多模态信息的深度融合 :目前的模型只是简单地线性组合文本和视觉信息,未来可以研究更复杂的融合方法,如深度学习模型,以更好地捕捉文本和视觉信息之间的内在联系,提高检索的准确性和效率。
- 更多评估指标的考虑 :除了MAP、P10和iP[0.1]等指标,还可以考虑引入更多的评估指标,如F1值、NDCG等,以更全面地评估多媒体信息检索系统的性能。同时,研究不同评估指标下视觉信息和文本信息的权重分配,为实际应用提供更有针对性的指导。
9. 总结
本文介绍了一种结合文本和视觉信息的多媒体信息检索模型,并通过ImageCLEF数据集进行了实验评估。实验结果表明,该模型在一定程度上提高了多媒体信息检索的性能,但也存在一些问题和挑战。未来的研究需要进一步探索如何更好地融合视觉和文本信息,以及如何为每个查询准确估计最佳的视觉信息权重,以推动多媒体信息检索技术的发展。
为了更直观地展示全局方法和局部方法的差异,我们可以用以下mermaid流程图表示:
graph LR
classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
classDef decision fill:#FFF6CC,stroke:#FFBC52,stroke-width:2px;
A([开始]):::startend --> B{选择方法}:::decision
B -->|全局方法| C(训练集计算αg):::process
B -->|局部方法| D(为每个查询计算αk):::process
C --> E(应用αg到测试集查询):::process
D --> F(为每个测试查询使用αk):::process
E --> G([输出检索结果]):::startend
F --> G
通过这个流程图,我们可以清晰地看到全局方法和局部方法在处理查询时的不同流程。全局方法侧重于在训练集上找到一个通用的α值,而局部方法则针对每个查询进行个性化的α值计算。
总之,视觉与文本信息融合的多媒体信息检索是一个具有广阔前景的研究领域,未来的研究将不断优化模型和方法,以满足日益增长的多媒体数据检索需求。
101



被折叠的 条评论
为什么被折叠?



