8、图像语义提取方法综述

图像语义提取方法综述

1. 基于区域的词袋模型增强方法

在图像语义提取领域，有一种替代方法是将词袋模型（BoVWs）表示与基于区域的方法相结合。这种方法先进行初始分割步骤，目的是利用区域间的空间关系。具体来说，通过将基于局部补丁的特征融入基于区域的方法，实现逐像素的目标类别检测和定位，同时结合更常见的基于纹理的特征。这种结合有助于识别那些自身没有明显纹理但与目标特征接近的区域，为此引入了基于区域的上下文特征概念。

为了实现多尺度表示，会在三个图像尺度上进行图像分割，为每个像素分配三个不同的区域。在更具挑战性的多类别分割任务中，会使用一种半局部空间描述符，它类似于某些方法，但使用的是从图像分割中得到的均值漂移补丁，而非兴趣点补丁。

2. 词/图像联合分布学习

这部分聚焦于基于特征聚类得到的中间图像描述，寻找图像和概念（关键词）联合概率的模型，这类模型也被称为翻译模型。

2.1 相关方法介绍

• Duygulu 等人的方法 ：受机器翻译研究的启发，他们开发了一种用词语标注图像区域的方法。首先使用“归一化切割”分割算法创建区域，为每个区域计算特征，然后通过对图像集合中这些区域的图像特征进行聚类生成斑点。接着将问题转化为学习离散的斑点词汇与图像关键词之间的对应关系。
• Jeon 等人的方法 ：将图像标注问题重新表述为跨语言信息检索问题，应用基于离散区域码本的跨媒体相关性模型（CMRM）。
• Lavrenko 等人的方法 ：对 Jeon 等人的工作进行扩展，