95、以自我中心视频中3D布局传播提升目标识别效果

以自我中心视频中3D布局传播提升目标识别效果

1. 初始3D场景布局

在单视图布局估计方面，我们采用了一种能提供场景布局假设集的方法，这些假设会自动被评估、排序和传播。我们借鉴了一种分层方法，从全向图像计算场景布局。不过由于使用的是常规相机，其视野小于全向相机，所以基本场景布局仅由左、上、右三面墙构成，之后在分层过程中对其进行扩展。

具体步骤如下：
- 计算线段、消失点和交点 ：
- 运用Canny边缘检测器（Kovesi的Matlab工具箱）提取图像线条。
- 采用Rother提出的方法检测消失点。
- 计算检测到的线段之间的交点。
- 构建基本房间布局 ：
- 随机选择一个地板交点。
- 计算过该点的消失线。
- 从与计算出的消失线对齐的点中随机选择另一个地板交点，这些点交叉的线构成基本房间假设。
- 扩展基本房间布局 ：
- 顶部边界 ：从顶部边界的随机地板交点开始，计算消失线并选择与新线对齐的另一点，重复此过程直至封闭区域。
- 左右边界 ：有两种扩展方式，可选择与顶部边界对齐的点，或选择对应边界上的点。
- 天花板检测 ：采用结合曼哈顿世界假设和单地板 - 单天花板模型的室内世界模型。在确定地板边界后，假设地板 - 天花板对称，计算模型的第一条垂直线，随机选择与该线对齐的天花板交点，进而计算其余天花板边界。

2. 视频序列中的