10、密集分割感知描述符：原理、方法与实验评估

密集分割感知描述符：原理、方法与实验评估

在计算机视觉领域，特征描述符的性能对于许多任务至关重要。本文将介绍密集分割感知描述符，包括其原理、获取亲和力函数的方法以及在不同场景下的实验评估。

1. 密集分割感知描述符原理

在处理图像时，背景的变化和遮挡可能会影响特征描述符的性能。为了解决这个问题，我们的目标是构建仅包含在单个表面/对象（以下称为“区域”）内的特征描述符。这样，背景的变化（如分层运动）不会影响区域内部点的描述，并且当一个区域被另一个区域遮挡时，我们可以忽略无关的遮挡物。

以 SID 描述符为例，图像缩放可能导致其元素的变化，使得获得 DTFT 对所需的（循环）移位关系不严格成立。为了弥补这个问题，SID 通常使用大图像块和多个环，但这限制了其适用性，因为背景结构和遮挡容易影响其构建。

我们的方法是利用分割信息，通过一种“门控”信号将像素与其邻居的亲和力信息纳入描述符的构建中。具体来说，当在点 x 周围构建描述符时，我们测量 x 与每个其他网格坐标 x[k, n] 之间的亲和力 w[k, n] ∈ [0, 1]，并将在 [k, n] 周围提取的相应测量值 d 与之相乘：

d'[k, n] = w[k, n]d[k, n]

对于 SID，d[k, n] 表示在 [k, n] 处的 H 个极化平滑导数的串联；对于 SIFT，d[k, n] 表示相应的八维方向直方图。乘以 w[k, n] 有效地排除了来自背景的测量值，使得围绕一个点提取的描述符仅受属于其区域的点的影响，从而对背景变化保持鲁棒性。

2. 获取亲和