28、从平面图生成描述性叙述及相关应用

从平面图生成描述性叙述及相关应用

1. 装饰特征向量与Bag of Decor（BoD）

在处理平面图时，装饰检测是重要的一环。对于每个单独的房间图像，会进行装饰检测，随后使用提出的Bag of Decor（BoD）特征进行特征提取。BoD向量是一个稀疏向量，它包含了ROBIN平面图数据集中12种装饰对象的频率计数。每个向量单元代表一个装饰对象并存储其频率计数。整个平面图图像可以用一个维度为Nr × 12的矩阵来表示，其中Nr是平面图中的房间数量。

例如，假设有一个包含3个房间的平面图，BoD矩阵可能如下：
| 房间 | 床 | 扶手椅 | 咖啡桌 | 餐桌 | 小沙发 | 大沙发 | 小水槽 | 双水槽 | 水槽 | 大水槽 | 浴缸 | 圆桌 |
| — | — | — | — | — | — | — | — | — | — | — | — | — |
| 房间1 | 1 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 房间2 | 0 | 2 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 0 | 0 | 0 |
| 房间3 | 0 | 0 | 0 | 0 | 1 | 0 | 0 | 0 | 0 | 0 | 1 | 0 |

这个矩阵清晰地展示了每个房间中各种装饰对象的存在情况。

2. 房间标注学习

使用BoD特征和分类器对1355个训练样本的房间标签进行学习。房间样本从平面图中提取并进行标注，用于训练分类器。实验中尝试了多种分类器，包括人工神经网络和支持向量机（SVM）的变体。对于从平面图中获取的每个房间图像，生成BoD分类