大规模文本到图像检索及最大后验核分类器的研究
大规模文本到图像检索的贝叶斯K邻域模型
在文本到图像检索领域,贝叶斯方法和朴素贝叶斯分解查询得出所需分数的表达式:
[sc(q, p) = \sum_{i=1}^{n} \left[\beta \frac{1}{K_{max}} \sum_{K=1}^{K_{max}} \frac{C_{Ki}}{K} + (1 - \beta) \frac{1}{|d|} \right]]
计算问题
为实现良好的计算性能和可扩展性,需考虑以下计算问题:
1.
区分训练和测试图像
:训练图像已知一组训练查询的相关性判断,而测试图像则无。在实际场景中,已知描述的图像数量相对总图像数量较少,但目标是对所有图像进行检索。训练图像用于定义集合 (P_{i}^{+}),对于测试图像 (p),需估计词汇表中任何单词的条件概率 (p(w_{i} | p)),该概率在训练时估计并存储在表中,测试时通过表中对应查询词和特定图像位置的值相乘计算得分 (sc(q, p))。
2.
高效计算 (p(w_{i} | p))
:这涉及两个重要部分,一是为词汇表中每个单词 (w_{i}) 获取集合 (P_{i}^{+}),二是计算任何图像 (p) 的 (K) 邻域。计算邻域是最耗时的部分,需获取 (p) 与所有训练图像的距离,可使用快速搜索算法减轻此任务。根据数据集不同,最终使用了两种方法:视觉词哈希(VWH)和局部敏感哈希(LSH),使用快速搜索算法的方法记为 FKNIR(Fast KNIR)。
| 方法 | 描述 |
|---|---|
| 视觉词哈希(VWH) | 适用于图像表示非常稀疏的数据集,将每个图像存储在多个桶中,桶通常形成稀疏矩阵,使用标准哈希处理。二阶视觉词相关性可获得较好结果。 |
| 局部敏感哈希(LSH) | 用于数据稀疏性不明显的数据集,通过计算图像 (p) 的 (r) 个 2 - 稳定随机投影,将投影值二值化,随机选择形成 (w) 个 (b) 位的不同单词,图像 (p) 的索引存储在与 (w) 个单词关联的桶中。 |
两种方法中,测试图像的 (K) 邻域搜索通过计算图像与落入相同桶的所有图像的原始距离(通常是 (L_{p}) 族)来完成。
graph LR
A[开始] --> B[区分训练和测试图像]
B --> C[计算p(wi | p)]
C --> D{数据集类型}
D -- 稀疏 --> E[视觉词哈希(VWH)]
D -- 非稀疏 --> F[局部敏感哈希(LSH)]
E --> G[计算K邻域]
F --> G
G --> H[计算得分sc(q, p)]
H --> I[结束]
实验
实验使用了两个不同的数据集:Corel 和 ImageClef,均分为开发集和测试集,开发集进一步分为训练集和评估集。通过平均精度(AvgP)和前 10 精度(P10)两个指标评估不同模型,并测量训练时间。
-
Corel 数据集
- 数据特点 :分为 Corel - small 和 Corel - large 两个分区,图像使用高维向量表示(10,000 个分量,由局部二值模式和颜色直方图特征拼接而成),这是 PAMIR 方法所需,该方法依赖于图像表示空间的线性分离。
- Corel - small 数据集 :包含 5,000 张图片,开发集 4,500 张(4,000 张训练,500 张评估),测试集 500 张。不同查询数量分别为训练 7,221、验证 1,962、测试 2,241。贝叶斯方法在检索精度上表现更好,参数 (K_{max}) 的选择比传统方法的参数 (K) 选择不那么关键。不同方法的结果如下表:
| 方法 | P@10(%) | AvgP (%) | 训练时间 (ms) |
|---|---|---|---|
| PAMIR | 9.97 | 25.8 | 2937 |
| KNIR | 9.9 | 26.7 | 524 |
| FKNIR | 10.0 | 27.1 | 1571 |
- **Corel - large 数据集**:包含 35,379 张图像,开发集 25,120 张(14,861 张训练,10,259 张评估),测试集 10,259 张。不同查询数量分别为训练 55,442、验证 39,690、测试 39,613。不同方法的结果如下表:
| 方法 | P@10(%) | AvgP (%) | 训练时间 (secs) |
|---|---|---|---|
| PAMIR | 2.69 | 4.98 | 63.7 |
| KNIR | 2.73 | 4.78 | 26.9 |
| FKNIR | 2.84 | 4.92 | 18.2 |
这两个实验在精度上未显示出显著改进,但证明了计算速度更快。Corel 数据集的图像表示满足 PAMIR 限制,K 邻域模型在此情况下无额外改进。
-
ImageCLEF 数据集
- 数据处理 :20,000 张图像分为 18,000 张训练、1,000 张验证和 1,000 张测试图像。从图像注释中提取 124 个单词的小词汇表,分别为训练、验证和测试集生成 10,647、1,572 和 1,610 个查询。图像使用局部图像描述符和颜色直方图两种特征表示,局部图像描述符通过规则网格位置提取补丁并使用 PCA 降维,最终用视觉词直方图表示。
- 不同维度表示实验 :选择了两种不同的图像表示,小维度为 512 个视觉词和 512 个颜色直方图区间,共 1024 维;大维度为 4092 个视觉词和 512 个颜色直方图区间,共 4604 维。FKNIR 方法使用 LSH,参数通过验证集调整((r = 100),(w = 100),(b = 14)),还进行了调整 LSH 参数以获得与 PAMIR 相似精度结果的实验(FKNIR*)。
| 方法(512 - 512 表示) | P@10(%) | AvgP (%) | 训练时间 (secs) |
|---|---|---|---|
| PAMIR | 3.0 | 9.33 | 96 |
| KNIR | 4.1 | 11.93 | 35 |
| FKNIR | 3.8 | 11.27 | 8 |
| FKNIR* | 3.3 | 9.0 | 4 |
| 方法(4096 - 512 表示) | P@10(%) | AvgP (%) | 训练时间 (secs) |
|---|---|---|---|
| PAMIR | 3.1 | 10.3 | 196 |
| KNIR | 4.0 | 11.62 | 45 |
| FKNIR | 3.9 | 11.78 | 16 |
| FKNIR* | 3.7 | 10.5 | 9 |
与 Corel - large 结果相比,PAMIR 在 ImageCLEF 数据集上速度较慢,原因是图像表示的稀疏性和在线学习方法的迭代次数。而所提出方法的计算成本固定,不依赖迭代过程。
最大后验基于线性规划训练的核分类器
提出了一种基于最大后验(MAP)估计的分类新方法。
背景与问题提出
在统计学中,最大后验估计可根据经验数据获得未观察量的点估计,该方法在机器学习和模式识别中得到应用和研究,许多基于此的分类、检测、决策和估计方法被开发和实现。然而,通过线性规划无法估计后验概率。
新方法介绍
- 核化函数估计 :估计一个结果与 MAP 分类器相同的核化函数,将问题从估计后验概率转变为估计该函数,使成本函数的自由度更广。
- 新成本函数 :提出了一个可通过线性规划求解的新成本函数。
- 实验验证 :使用 UCI 存储库的 13 个数据集进行二分类实验,与知名方法比较,该方法在多个数据集上表现更优。
- 与支持向量机(SVM)的关系 :解释了该方法与 SVM 的关系和相似性,且该方法具有其他分类优势,可通过线性规划求解,成本函数无 SVM 中的正则化参数 (C),且成本函数简单,便于未来扩展。
综上所述,大规模文本到图像检索的贝叶斯 K 邻域模型在计算性能上有一定优势,特别是在 ImageCLEF 数据集上,KNIR 方法在精度和速度上均优于 PAMIR。而最大后验基于线性规划训练的核分类器为分类问题提供了一种新的有效方法,具有广阔的应用前景。
大规模文本到图像检索及最大后验核分类器的研究(续)
大规模文本到图像检索方法总结与优势分析
从上述实验可以看出,贝叶斯 K 邻域模型在文本到图像检索中展现出了一定的优势。我们可以将不同数据集上各方法的表现总结如下:
| 数据集 | 方法 | P@10(%) | AvgP (%) | 训练时间 |
|---|---|---|---|---|
| Corel - small | PAMIR | 9.97 | 25.8 | 2937ms |
| Corel - small | KNIR | 9.9 | 26.7 | 524ms |
| Corel - small | FKNIR | 10.0 | 27.1 | 1571ms |
| Corel - large | PAMIR | 2.69 | 4.98 | 63.7s |
| Corel - large | KNIR | 2.73 | 4.78 | 26.9s |
| Corel - large | FKNIR | 2.84 | 4.92 | 18.2s |
| ImageCLEF (512 - 512) | PAMIR | 3.0 | 9.33 | 96s |
| ImageCLEF (512 - 512) | KNIR | 4.1 | 11.93 | 35s |
| ImageCLEF (512 - 512) | FKNIR | 3.8 | 11.27 | 8s |
| ImageCLEF (512 - 512) | FKNIR* | 3.3 | 9.0 | 4s |
| ImageCLEF (4096 - 512) | PAMIR | 3.1 | 10.3 | 196s |
| ImageCLEF (4096 - 512) | KNIR | 4.0 | 11.62 | 45s |
| ImageCLEF (4096 - 512) | FKNIR | 3.9 | 11.78 | 16s |
| ImageCLEF (4096 - 512) | FKNIR* | 3.7 | 10.5 | 9s |
从这个表格中我们可以清晰地看到,在 Corel 数据集上,各方法的精度提升并不显著,但在计算速度上,KNIR 和 FKNIR 相较于 PAMIR 有明显优势。而在 ImageCLEF 数据集上,KNIR 方法在精度和速度上均超过了 PAMIR。这表明贝叶斯 K 邻域模型在不同数据集上都有一定的适应性,尤其是在图像表示稀疏性和维度等因素不同的情况下,能够根据实际情况选择合适的快速搜索算法(如 VWH 或 LSH),从而提高计算效率。
同时,我们可以用以下流程图来表示整个文本到图像检索的流程:
graph LR
A[输入文本查询] --> B[区分训练和测试图像]
B --> C[计算条件概率p(wi | p)]
C --> D{数据集特征}
D -- 稀疏 --> E[视觉词哈希(VWH)]
D -- 非稀疏 --> F[局部敏感哈希(LSH)]
E --> G[计算K邻域]
F --> G
G --> H[计算得分sc(q, p)]
H --> I[按得分排序输出图像]
这个流程图展示了从输入文本查询到最终输出相关图像的完整过程,包括了前面提到的区分图像、计算概率、选择哈希方法、计算邻域和得分等关键步骤。
最大后验核分类器的优势与应用场景
最大后验基于线性规划训练的核分类器为分类问题提供了一种新的思路和方法。它的优势主要体现在以下几个方面:
- 成本函数的灵活性 :通过估计核化函数,将问题从估计后验概率转变,使得成本函数的选择更加自由。这意味着可以根据不同的数据集和问题特点,设计出更合适的成本函数,从而提高分类的准确性。
- 线性规划求解 :该方法可以通过线性规划求解,而线性规划有许多优秀的求解器。这使得在实际应用中,能够更高效地进行模型训练,减少计算时间和资源消耗。
- 无正则化参数 :与支持向量机(SVM)相比,该方法的成本函数中没有正则化参数 (C)。正则化参数的选择往往需要大量的实验和调优,而该方法避免了这个问题,降低了模型调优的难度。
- 易于扩展 :成本函数简单,便于进行各种扩展。在未来的研究中,可以根据不同的需求对成本函数进行修改和优化,以适应更多复杂的分类问题。
这种分类器适用于多种应用场景,例如:
- 医学图像分类 :在医学领域,需要对大量的医学图像进行分类,如肿瘤图像的识别等。该分类器可以通过训练大量的医学图像数据,准确地对不同类型的病变进行分类,为医生的诊断提供辅助。
- 自然语言处理 :在文本分类任务中,如新闻分类、情感分析等,该分类器可以根据文本的特征进行分类,提高分类的准确性和效率。
- 生物信息学 :在生物信息学中,需要对基因序列、蛋白质结构等进行分类。该分类器可以处理高维的生物数据,为生物研究提供支持。
未来研究方向
虽然大规模文本到图像检索的贝叶斯 K 邻域模型和最大后验基于线性规划训练的核分类器已经取得了一定的成果,但仍有许多可以改进和拓展的方向。
- 模型融合 :可以将贝叶斯 K 邻域模型与其他图像检索模型进行融合,如深度学习模型。通过结合不同模型的优势,进一步提高图像检索的精度和效率。
- 哈希方法优化 :对于视觉词哈希(VWH)和局部敏感哈希(LSH),可以进一步研究和优化其算法,提高哈希的准确性和效率,减少计算成本。
- 核分类器扩展 :对最大后验核分类器的成本函数进行更多的扩展和优化,使其能够处理更复杂的分类问题,如多分类问题和不平衡数据集的分类问题。
- 跨领域应用 :将这两种方法应用到更多的领域,如工业检测、农业图像分析等,探索其在不同领域的适用性和优势。
总之,大规模文本到图像检索和最大后验核分类器的研究为相关领域提供了新的方法和思路,未来的研究有望进一步提升这些方法的性能和应用范围,为实际问题的解决提供更有效的支持。



被折叠的 条评论
为什么被折叠?



