35、多视角行人检测方法综述

多视角行人检测方法综述

1. 中级信息融合

当获取多个相机重叠视场（FOV）中的空间对应关系后，就可以关联和融合不同相机视图中同一物体的提取特征或跟踪轨迹，从而得到物体位置的全局估计。提取的特征包括但不限于脚点、边界框、质心、主轴和颜色直方图等。通常，基于区域的特征（如质心和主轴）比极端点特征（如脚点和边界框）更鲁棒，因为前者是在前景区域的所有像素上提取的。

物体在不同相机视图之间的对应关系可以通过单应性变换或对极线来获得：
- 单应性变换 ：是同一平面上两个相机捕获的一对图像坐标之间的关系，是一种点对点的变换，但假设所有物体都位于一个公共平面上，在视频监控中，这个公共平面通常是地面。
- 对极线 ：是从相机出发并穿过该相机捕获图像中特定点的射线。基于对极线的方法需要相机校准，可用于定位空中的物体，但它们将点映射到线，需要进行一维搜索来关联不同视图中的物体。

除了上述几何约束方法外，颜色信息也常被用于跨多个相机视图匹配行人。然而，颜色线索容易受到行人穿着相似颜色衣服以及行人之间遮挡的影响，因此不如几何方法鲁棒。

以下是一些具体的中级信息融合方法：
|方法|操作步骤|
| ---- | ---- |
|Khan和Shah的方法|应用从每个相机视图到参考顶视图的地面平面单应性变换，在顶视图上融合多个相机视图的检测结果，以估计每个行人的位置。|
|Xu等人的方法|考虑每个相机视图中足球运动员的测量不确定性，当相机视图中的测量值投影到顶视图时，不确定性会根据运动员到相机的距离而变化，通过考虑多相机信息融合中的不确定性，更准确地估计足球