16、单图像内容感知语义室内场景建模

单图像内容感知语义室内场景建模

1. 室内场景布局估计

室内场景布局估计可转化为寻找正交房间角落的问题。传统方法多致力于寻找房间边界框，而确定房间角落足以校准场景系统。具体操作步骤如下：
1. 预测房间布局概率图 ：采用特定方法预测房间布局的概率图，该方法基于结构化边缘检测森林与全卷积网络（FCN），以生成房间布局的边缘线索。
2. 搜索房间角落 ：运用随机抽样一致性（RANSAC）算法从边缘图中搜索出稳定的房间角落。
3. 恢复空间位置和旋转 ：结合二维图像平面中的房间角落和点云信息，通过拟合正交三维角落，恢复其空间位置和相对相机的旋转。
4. 确定场景坐标系 ：以该角落为场景坐标系，将其水平面（x - y 平面）与地板对齐，z 轴向上，进而确定地板和两面墙。

以下是该过程的 mermaid 流程图：

graph LR
    A[预测房间布局概率图] --> B[搜索房间角落]
    B --> C[恢复空间位置和旋转]
    C --> D[确定场景坐标系]

2. 支持推理

支持推理有两种数据驱动的方式：

2.1 基于先验的支持推理

此方法旨在通过提供空间约束，使室内对象的建模在物理上更合理。常见的对象支持类型有下方支持、后方支持和上方支持，这里仅考虑前两种类型。具体操作如下：
1. <