基于区域的图像表示与目标发现和识别
1. 区域层次匹配
在目标识别中，传统的多对多匹配启发式方法通常是为加权图开发的，无法用于节点和边都有属性的区域层次结构。为了放松匹配约束，我们采用了一种特殊的方法。首先将 $H$ 与 $H’$ 进行匹配，得到解 $X_1$；然后将 $H’$ 与 $H$ 匹配，得到解 $X_2$。最终解 $\tilde{X}$ 估计为 $X_1$ 和 $X_2$ 中非零元素的交集。
具体来说，约束条件如下：
- $\forall(v, v’) \in V \times V’$，$x_{vv’} \geq 0$；
- 当匹配 $H$ 到 $H’$ 时，$\forall v \in V$，$\sum_{v’ \in V’} x_{vv’} = 1$；
- 当匹配 $H’$ 到 $H$ 时，$\forall v’ \in V’$，$\sum_{v \in V} x_{vv’} = 1$。
通过使用辅助矩阵 $W = \beta diag(A) + (1 - \beta)B$，我们将问题重新表述为以下一对多匹配问题：
$$
\begin{align
}
\min_{X} &\quad X^TWX\
\text{s.t.} &\quad \forall(v, v’) \in V \times V’, x_{vv’} \geq 0\
&\quad \forall v’ \in V’, \sum_{v \in V} x_{vv’} = 1
\end{align
}
$$
这个问题可以使用复制动态更新规则高效求解：
$$
X \leftarrow \frac{WX}{X^TWX}
$$
匹配的复杂度为 $O((|V| + |E|)^2)$。在一台 2.8GHz、2GB RAM 的 PC 上，对两个约有 50 个节点的 CST 进行匹配大约需要 1 分钟。匹配的子图可能代表完整的目标或其部分，这有助于对基于区域的目标模型进行鲁棒估计。同时，匹配区域层次结构后，我们可以直接获得所有提取子图的节点和边之间的对应关系，这些对应关系可用于学习目标类别的规范图，即目标模型。
2. 基于区域的目标模型
基于区域的目标模型旨在捕捉图像区域如何递归布局以构成一个目标，以及它们的几何和光度属性。我们的目标是从一组给定或提取的相似 CST 中获得目标类别的紧凑规范模型，这里将其表述为图并集。
图并集 $T$ 是包含给定集合 $D$ 中每个图的最小图。理想情况下，应先找到 $D$ 的最大公共子图，然后将剩余节点添加到公共子图并适当连接。但当 $D$ 较大时，找到最大公共子图的复杂度过高，因此我们采用次优的顺序方法。
具体步骤如下：
1. 从集合 $D$ 中选择一个 CST $t$；
2. 将 $t$ 与当前估计的图并集 $T(n)$ 进行匹配，得到它们的最大公共子树 $\tau$；
3. 将 $t$ 中未匹配的节点添加到 $\tau$ 并适当连接，形成 $T(n + 1)$；
4. 重复步骤 1 - 3，直到集合 $D$ 中的所有 CST 都添加到图并集中。
这个过程可以用以下 mermaid 流程图表示：
graph LR
A[开始] --> B[选择 CST t]
B --> C[匹配 t 和 T(n)]
C --> D[得到最大公共子树 τ]
D --> E[添加未匹配节点到 τ]
E --> F[形成 T(n+1)]
F --> G{是否所有 CST 都添加?}
G -- 否 --> B
G -- 是 --> H[结束]
3. 实验数据集
为了验证我们的方法，我们使用了四个数据集的 14 个类别：
| 数据集 | 类别 | 数量 | 特点 |
| ---- | ---- | ---- | ---- |
| Caltech - 101 | 人脸、摩托车、飞机、汽车（后部） | 435 张人脸、800 辆摩托车、800 架飞机、526 辆汽车（后部） | 除汽车（后部）图像包含多个部分遮挡的汽车外，其他图像通常只包含一个突出的目标 |
| Weizmann | 马 | 328 张 | 包含不同品种、颜色和纹理的行走/奔跑马的侧视图，在自然杂乱环境中 |
| LabelMe | 汽车、树木、建筑物 | 1554 张 | 包含多种目标类别，在不同光照条件和尺度下拍摄 |
| UIUC Hoofed Animals | 牛、马、羊、山羊、骆驼、鹿 | 200 张图像，715 个目标实例 | 每张图像包含多个相似动物类别，需要高类别间分辨能力 |
4. 实验评估
我们从定性和定量两个方面对方法进行评估。
4.1 定性评估 - 分割
使用 50 张训练图像对 LabelMe 和 Hoofed Animals 数据集的图像进行实验，结果表明 CST 在目标检测和分割方面优于 ST，尤其是在部分遮挡的情况下（如汽车和牛），以及对于由区域空间布局定义的目标（如斑点牛）。即使目标边界锯齿状且模糊（如树木），或者同一类别目标相互遮挡形成复杂区域拓扑结构（如汽车），CST 仍能实现良好的分割。未检测到的目标大多与周围环境对比度低，无法在 CST 中形成可与类别模型匹配的特征子图。
4.2 定性评估 - 模型
以 Weizmann 数据集的马类别为例，学习得到的模型 $G$ 正确捕捉了马所占据区域的递归包含和邻接关系。例如，头部、颈部和鬃毛节点是头部和颈部节点的子节点，且它们相互为邻接关系；头部和颈部与尾部不是邻接关系。模型中可能包含与马共现的相似背景区域，但背景节点在总节点数中的占比通常较小（3 - 5%）。
4.3 定量评估
- 检测召回 - 精度曲线（RPC） ：CST 在 Caltech - 101 类别检测中表现出色。在无遮挡情况下，CST 使 ST 的 RPC 下面积增加了 $6.5 \pm 0.3\%$；当 20% 的图像被遮挡时，增加了 $3.1 \pm 0.2\%$。使用广义 Voronoi 图测量邻接强度比将 CST 链接权重仅设为 1 或 0（CST - unweight）的情况性能更好，CST 使 CST - unweight 的 RPC 下面积增加了 $2.3 \pm 0.3\%$。
- 识别准确率 ：随着训练集中负样本数量 $M_n$ 的增加，CST 比 ST 能更长时间保持高准确率。增加正样本数量 $M_p$ 会降低识别误差。
不同数据集的检测召回、分割和识别误差如下表所示：
| 数据集 | 类别 | 召回率 | 分割误差 | 识别误差 |
| ---- | ---- | ---- | ---- | ---- |
| LabelMe | 树木 | $47.6 \pm 6.9\%$ | $41.6 \pm 7.9\%$ | $19.7 \pm 3.8\%$ |
| LabelMe | 建筑物 | $92.6 \pm 6.9\%$ | $34.6 \pm13.4\%$ | $11.6 \pm 2.9\%$ |
| LabelMe | 汽车 | $67.6 \pm 6.9\%$ | $32.5 \pm 8.2\%$ | $12.9 \pm 4.8\%$ |
| Weizmann 马 | 马 | $91.9 \pm 5.2\%$ | $7.2 \pm 2.5\%$ | $7.9 \pm 4.1\%$ |
| UIUC Hoofed Animals | 马 | $81.2 \pm 10.3\%$ | $15.9 \pm 5.3\%$ | $7.8 \pm 4.2\%$ |
| UIUC Hoofed Animals | 牛 | $78.4 \pm 4.2\%$ | $17.1 \pm 4.6\%$ | $6.5 \pm 6.2\%$ |
| UIUC Hoofed Animals | 鹿 | $88.1 \pm 6.9\%$ | $11.1 \pm 8.4\%$ | $7.7 \pm 3.4\%$ |
| UIUC Hoofed Animals | 羊 | $81.2 \pm 5.3\%$ | $24.8 \pm 7.2\%$ | $7.8 \pm 4.1\%$ |
| UIUC Hoofed Animals | 山羊 | $78.2 \pm 8.6\%$ | $20.1 \pm 8.1\%$ | $12.2 \pm 5.4\%$ |
| UIUC Hoofed Animals | 骆驼 | $89.9 \pm 7.2\%$ | $11.5 \pm 5.1\%$ | $3.2 \pm 3.9\%$ |
5. 方法优势
实验结果表明，我们的方法具有以下不变性：
1.
平移、平面旋转和目标关节运动
：CST 本身对这些变化具有不变性；
2.
一定程度的尺度变化
：匹配基于区域的相对属性；
3.
训练和测试集中的遮挡
：图并集可以从训练集中的部分视图注册整个（未遮挡）类别结构，测试图像 CST 中可见目标部分的子图仍可与模型匹配；
4.
目标的小深度旋转引起的形状变形
：匹配过程中考虑了 CST 的结构不稳定性（如区域分裂/合并）；
5.
杂波
：杂波区域不频繁出现，因此不会被学习到。
综上所述，使用多尺度区域作为基本图像特征在目标识别中具有诸多优势，能够有效解决传统方法在目标发现、检测和分割中面临的挑战。
基于区域的图像表示与目标发现和识别
6. 目标检测与识别流程总结
整个目标检测与识别过程可以总结为以下步骤：
1.
区域层次匹配
：
- 放松约束条件，通过两次匹配（$H$ 与 $H’$，$H’$ 与 $H$）得到解 $X_1$ 和 $X_2$，取非零元素交集得到最终解 $\tilde{X}$。
- 使用辅助矩阵 $W = \beta diag(A) + (1 - \beta)B$ 重新表述为一对多匹配问题，通过复制动态更新规则求解。
2.
构建目标模型
：
- 采用次优顺序方法构建图并集，从集合 $D$ 中依次选择 CST 与当前估计的图并集匹配，添加未匹配节点形成新的图并集。
3.
实验验证
：
- 使用多个数据集进行实验，包括 Caltech - 101、Weizmann、LabelMe 和 UIUC Hoofed Animals。
- 从定性和定量两个方面评估方法性能，定性评估包括分割和模型展示，定量评估包括检测召回 - 精度曲线和识别准确率。
这个流程可以用以下 mermaid 流程图表示：
graph LR
A[区域层次匹配] --> B[构建目标模型]
B --> C[实验验证]
C --> D{性能达标?}
D -- 是 --> E[应用于实际场景]
D -- 否 --> A
7. 与其他方法的对比
为了更清晰地展示我们方法的优势，将其与其他非层次和层次方法进行对比，如下表所示：
| 方法 | 数据集 | 分割误差 | 识别情况 |
| ---- | ---- | ---- | ---- |
| 我们的方法（CST） | UIUC（多尺度）汽车数据集 | 6.5% | - |
| 某方法 | UIUC（多尺度）汽车数据集 | 7.9% | - |
| 某非层次方法 | LabelMe 建筑物 | 47% | - |
| 某非层次方法 | LabelMe 汽车 | 79% | - |
| 某非层次方法 | Weizmann 马 | 7% | - |
| 某非层次方法 | Weizmann 马 | 18.2% | - |
| 我们的方法（CST） | LabelMe 树木 | 41.6 ± 7.9% | 19.7 ± 3.8% |
| 我们的方法（CST） | LabelMe 建筑物 | 34.6 ± 13.4% | 11.6 ± 2.9% |
| 我们的方法（CST） | LabelMe 汽车 | 32.5 ± 8.2% | 12.9 ± 4.8% |
| 我们的方法（CST） | Weizmann 马 | 7.2 ± 2.5% | 7.9 ± 4.1% |
| 我们的方法（CST） | UIUC Hoofed Animals（马） | 15.9 ± 5.3% | 7.8 ± 4.2% |
| 我们的方法（CST） | UIUC Hoofed Animals（牛） | 17.1 ± 4.6% | 6.5 ± 6.2% |
| 我们的方法（CST） | UIUC Hoofed Animals（鹿） | 11.1 ± 8.4% | 7.7 ± 3.4% |
| 我们的方法（CST） | UIUC Hoofed Animals（羊） | 24.8 ± 7.2% | 7.8 ± 4.1% |
| 我们的方法（CST） | UIUC Hoofed Animals（山羊） | 20.1 ± 8.1% | 12.2 ± 5.4% |
| 我们的方法（CST） | UIUC Hoofed Animals（骆驼） | 11.5 ± 5.1% | 3.2 ± 3.9% |
从表中可以看出，我们的方法在分割误差和识别准确率方面大多优于其他方法，尤其是在处理复杂数据集时表现更出色。
8. 实际应用展望
基于区域的图像表示和目标识别方法在多个领域具有广泛的应用前景：
1.
安防监控
：可以准确检测和识别监控画面中的目标，如人员、车辆等，及时发现异常情况。
2.
自动驾驶
：帮助车辆识别道路上的各种目标，如行人、其他车辆、交通标志等，提高驾驶安全性。
3.
图像搜索
：根据目标的特征进行图像搜索，提高搜索的准确性和效率。
4.
医学图像分析
：在医学图像中检测和识别病变区域，辅助医生进行诊断。
9. 总结
本文介绍了一种基于区域的图像表示与目标发现和识别方法，通过区域层次匹配构建目标模型，并在多个数据集上进行实验验证。该方法具有以下优点：
1. 能够有效处理目标的部分遮挡、尺度变化、旋转等问题。
2. 可以获得目标的节点和边对应关系，用于学习目标类别的规范图。
3. 在检测召回 - 精度曲线和识别准确率方面表现出色，优于其他一些方法。
通过使用多尺度区域作为基本图像特征，该方法为目标识别提供了一种更有效的解决方案，在实际应用中具有很大的潜力。未来可以进一步研究如何优化该方法，提高其在更复杂场景下的性能。
7070
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
