44、多相机目标关联技术解析

多相机目标关联技术解析

1. 引言

在多相机系统中，目标关联问题至关重要。数据关联问题可被表述为多维分配问题，但以往很多方法假设相机视野重叠且坐标系已注册，这在某些场景下无法直接应用。根据相机设置的不同假设，先前的工作大致可分为以下几类：
1. 多个视野重叠的固定相机；
2. 多个视野不重叠的固定相机；
3. 多个可进行平移、倾斜和缩放操作的相机（PTZ 相机）。

2. 相关工作

2.1 多个视野重叠的固定相机

大部分关于多相机目标关联的工作都假设相机是固定且视野重叠的。早期这类研究源于 20 世纪 90 年代初对多视角交互式视频的兴趣。以下是一些代表性的工作：
- 基于环境模型和校准相机的方法 ：
- Sato 等人使用基于 CAD 的环境模型提取未知移动物体的 3D 位置，当物体进入两个相机的重叠视野时，利用立体视觉恢复其精确 3D 位置。
- Jain 和 Wakimoto 假设相机经过校准，以获取多视角交互式视频环境模型中每个物体的 3D 位置。虽然未明确解决跨相机的目标关联问题，但提出了一些创新想法，如选择最佳视角和交互式电视的概念。
- Kelly 等人使用体素特征构建 3D 环境模型，将人类建模为体素集合，并用于解决相机切换问题。
- 多视角跟踪方法 ：
- 20 世纪 90 年代后半期的一系列论文专门研究了多视角跟踪问题。Nakazawa 等人构建了状态转移图，将一个或多个相机观察到的区域联系起来，并制定了一些动作规则来整合相机间的信息。
- Cai 和 Agga