9、密集分割感知描述符：实现图像描述符的多方面不变性

密集分割感知描述符：实现图像描述符的多方面不变性

1. 引言

在计算机视觉领域，密集描述符正变得越来越流行，被广泛应用于密集图像对应、词袋图像分类和标签转移等众多任务中。与传统的基于卷积操作的图像滤波器组不同，密集描述符使用局部描述符（如SIFT）来替代，这些局部描述符更适合图像对应、分类和标记等任务。

早期的研究表明，用规则采样的SIFT描述符替代稀疏描述符用于图像分类任务具有显著优势。随后的一系列工作进一步确立了密集描述符在视觉任务中的多功能性、高效性和高性能。例如，SIFT - flow的开创性工作展示了用基于SIFT的相似性概念替代光流中的“亮度恒定”约束，能够促进场景对应和标签转移等新应用的发展。

然而，在通用图像点上提取描述符，而不是选择几何特征，需要重新思考如何实现对干扰参数的不变性。在密集设置中，图像的尺度和方向在大多数图像区域难以可靠估计。例如，在一维边缘附近定义尺度存在问题，而在平坦图像区域定义方向也很困难。

近年来，一些研究通过将全局图像配准技术应用于局部图像描述符，或者搜索不变子空间，来解决密集设置中的尺度和/或旋转不变性问题。本文在此基础上更进一步，致力于实现对“背景变化”的不变性。

“背景变化”是指在构建点周围的描述符时，一些测量值可能来自不同的独立对象，从而导致在同一位置的不同实例中描述符不同。例如，对象背景的变化或场景中的自遮挡，都会使描述符受到影响。

目前只有少数工作解决了这个问题。早期的研究通过引入局部隶属函数来消除（稀疏）SIFT描述符中的背景信息，或者将遮挡作为迭代立体匹配算法中的潜在变量，以提高多视图立体匹配的性能。

本文的核心思想是在密集特征构建中引入分割信