50、多相机多像素目标跟踪与空间语音分离技术研究

多相机多像素目标跟踪与空间语音分离技术研究

1. 多相机多像素目标跟踪系统概述

在许多应用场景中，如船舶、飞机和车辆跟踪，同时跟踪多个小目标或像素目标至关重要。本文提出了一种实用且高效的框架来解决这一问题。该框架的关键思想包括多相机的3D建模以及应用多个扩展卡尔曼滤波器（EKF）进行多目标跟踪。

2. 系统关键组件

• 目标检测 ：在每个相机中检测像素目标，可使用多种算法，如异常检测算法和基于稀疏性的前景/背景分离算法。
• 目标关联 ：通过3D相机几何模型关联多个相机中的目标，该模型对于处理多相机中的多目标问题非常重要。
• 目标跟踪 ：使用基于扩展卡尔曼滤波器（EKF）的简单高效目标跟踪算法进行目标跟踪。
• 实际问题处理 ：采用一系列实际算法解决多个小目标、测量噪声、虚假目标、部分或缺失目标观测、多相机协调等实际问题。

3. 相机几何模型

相机模型如图所示，x、y和z表示相机的三个轴，C为相机位置，X是3D点，p是对应的图像点，x和y是图像坐标轴，原点(0, 0)位于左下角，f是相机的焦距。

给定3D点X，其在图像上的投影p可通过以下方程计算：
$\hat{p} = KR[I_j - C]\hat{X}$
其中，$\hat{X}$是X的齐次坐标，$\hat{p}$是p的齐次坐标，即：
$p = \hat{p}(1 : 2)/\hat{p}(3)$