27、基于机器学习的平面图理解与文本描述生成

基于机器学习的平面图理解与文本描述生成

问题陈述

本工作旨在设计一个平面图理解与解释系统，该系统的目标是：给定房屋或其他建筑物的平面图，系统能够理解图像内容，并以自然语言生成文本描述。系统的输入是室内空间的平面图，期望输出是类似人类撰写的自然语言解释。为此，提出了能够代表整个平面图的合适特征，以捕捉描述中的复杂细节，同时还提出了生成描述的方法，确保生成的描述接近人类撰写的句子，涵盖所有细节且语法正确。

本工作使用机器学习技术为平面图图像生成自然语言文本描述，采用多阶段流水线来理解平面图图像，每个阶段识别不同的组件。具体贡献如下：
- 提出了一个从平面图图像生成文本解释的框架。
- 提出了新颖的特征向量“装饰包”（Bag of Decor，BoD），用于紧凑地表示平面图图像。
- 使用经典机器学习分类器和人工神经网络为平面图图像生成区域关键词。
- 生成整个房屋的整体解释，涵盖所有必要细节。

文献综述

随着数字文档数量的增加，图形识别在文档图像处理领域变得越来越重要。以下从几个方面介绍了相关的最新技术：
- 图形识别的最新技术 ：在DIA研究领域，图形识别得到了广泛探索。学者们采用了各种基于学习和推理的方法来定位和分类图形符号，例如通过图匹配、特征选择、整数线性规划等方式进行符号识别。
- 平面图分析的最新技术 ：平面图识别在现实世界中有多种应用，近年来提出了许多相关系统，用于检索、2D到3D重建、图形元素识别等任务。这些技术包括将手绘平面图转换为CAD格式、分析建筑图纸、进行文本识别、房间检测和标记等。
- 公开可用的平面图数据集 ：有多个公开可用的平面图数据集，各有其特点和用途，如下表所示：
| 数据集 | 数量 | 备注 |
| ---- | ---- | ---- |
| CVC - FP | 122 | 4个子类别，墙纹理不同，用于研究平面图中的图形符号 |
| FPLAN - POLY | 42 | 用于平面图分析和房间分析 |
| SESYD | 1000 | 100个布局/类，符号排列不同，用于符号识别任务 |
| ROBIN | 510 | 用于检索和符号识别任务 |
| CubiCasa5K | 5000 | 用于平面图对象检测任务 |
| BRIDGE | ∼13000 | 用于信息提取和描述生成 |
- 文档图像中的符号识别 ：在平面图图像中进行符号识别可用于提取信息，理解其组件。相关方法包括子图匹配、引入新的图像表示、将符号识别问题转化为整数线性规划等。
- 图像描述生成 ：用文本描述图像是计算机视觉和自然语言处理中的一项挑战性任务。传统技术如基于模板、检索、n - 元语法、语法规则等，以及最近的深度神经网络如RNN、LSTM、GRU等都被用于此任务。不同方法的特点如下表所示：
| 工作 | 类别 | 生成技术 |
| ---- | ---- | ---- |
| [43] | 经典机器学习 | 文本和图像属性之间的相似性映射 |
| [44] | 经典机器学习 | 条件随机场和图标签预测 |
| [45] | 经典机器学习 | 网络规模的n - 元语法 |
| [46] | 经典机器学习 | 通过检索生成标题 |
| [47] | 深度学习 | 基于端到端编码器 - 解码器 |
- 文本生成的评估 ：为了评估生成描述的准确性，提出了多种指标，如BLEU、ROUGE、METEOR、CIDEr、SPICE、BERTscore等，这些指标通过比较生成文本与人类撰写文本的单字、双字或n - 元语法，给出相似度得分。

平面图图像的描述性叙述生成

描述自然图像的内容是一个广泛研究的领域，但用自然语言描述文档图像或图形图像仍是一个开放的领域。由于图形文档图像与自然图像在主观性和像素级信息方面存在差异，传统的描述生成方案在文档图像上效果不佳。因此，本工作提出了“装饰包”（BoD）特征，用于为每个平面图图像提供独特的表示。

系统概述

系统采用多阶段方案工作，框架图如下：

graph LR
    A[输入平面图图像] --> B[定位和分类装饰组件]
    B --> C[生成装饰包特征]
    C --> D[使用分类器学习房间标签]
    D --> E[将视觉信息存储为XML格式]
    E --> F[解析XML树生成文本描述]
    F --> G[可转换为语音合成系统]

首先定位和分类装饰组件，然后为平面图图像生成BoD特征。在语义分割后，为平面图中的每个房间生成BoD特征。使用这些特征表示和合适的分类器学习房间标签。将每个步骤提取的视觉信息存储在XML格式中，解析XML树为每个平面图图像生成半结构化的文本叙述。该文本叙述可转换为语音合成系统，对视觉障碍者的导航和购房者理解平面图都有帮助。为了验证，对ROBIN数据集进行了文本注释，收集了志愿者的4种不同描述，以便将机器生成的描述与人类撰写的描述进行比较。

房间注释学习模型

为了理解平面图图像，需要正确推断每个房间的名称。传统基于OCR的方法在处理大量数据和多样化的平面图表示时存在困难，因此提出了基于机器学习的系统。该系统使用BoD特征表示平面图，并使用人工神经网络（ANN）和其他分类函数预测房间名称，将房间分为5个不同的类别：卧室、浴室、大厅、厨房和客厅。

• 房间语义分割 ：采用[55]中提出的技术进行房间分割。具体步骤如下：
  1. 对输入的平面图图像进行形态学闭合操作，检测墙壁。
  2. 使用[56]中提出的尺度不变特征检测门，并在墙壁图像中对应门的位置闭合间隙。
  3. 应用洪水填充技术在墙壁图像中识别连通组件，这些连通组件即为平面图中的房间，并获取其位置。
  4. 计算每个房间的面积（多边形面积），并将其转换为平方英尺（100像素 = 1英尺），将邻域、房间面积、房间位置坐标等信息存储在单独的数据结构中。
• 装饰特征化 ：改进了[55]中提出的技术，使用基于签名的方法进行装饰识别。具体步骤如下：
  1. 定义独特装饰标识符（Unique Decor Identifier，UDI）作为每个装饰项目的特征，它是装饰符号中最大三个组件的归一化面积比。
  2. 考虑不同平面图图像中符号的变化，为每个符号收集10个不同的签名，并取平均值存储在签名库中。
  3. 在分类前，对符号图像进行形态学操作（腐蚀和膨胀）预处理，然后进行斑点检测。
  4. 将每个斑点的UDI与签名库中的UDI进行比较，将其分类到最接近的类别。

装饰特征化方法的算法如下：

Algorithm 1 UDI Computation.
1: procedure SIGNATURE(J )
2:     C = CC(J )  ▷CC:Connected components
3:     Count = |C |  ▷| |: Cardinality of connected components
4:     for k = 1 to Count do
5:         Ak = Area(ck), where ck ∈C
6:     end for
7:     A = SortdescAk
8:     F(J ) = {(A1/A3),(A2/A3),1}  ▷F : Signature
9: end procedure

该算法计算装饰符号的UDI特征，通过计算10个不同符号的UDI并取平均值创建装饰库。该方法能够捕捉整个平面图图像数据集中装饰符号表示的可变性。

基于机器学习的平面图理解与文本描述生成

实验与结果分析

为了验证所提出的平面图理解与文本描述生成系统的有效性，进行了一系列实验。实验主要围绕房间分类准确性、文本描述生成质量以及与现有方法的对比等方面展开。

房间分类实验

使用经典机器学习分类器（如支持向量机、决策树等）和人工神经网络（ANN）对房间图像进行分类，将房间分为卧室、浴室、大厅、厨房和客厅5个类别。实验数据集采用了公开的平面图数据集，如ROBIN、CVC - FP等。

实验结果表明，使用BoD特征结合ANN分类器在房间分类任务上取得了较好的效果。不同分类器的分类准确率如下表所示：
| 分类器 | 分类准确率 |
| ---- | ---- |
| 支持向量机 | 82% |
| 决策树 | 78% |
| 人工神经网络（ANN） | 88% |

从结果可以看出，ANN分类器在利用BoD特征进行房间分类时表现最优，能够更准确地识别不同类型的房间。

文本描述生成质量评估

使用之前提到的评估指标（如BLEU、ROUGE、METEOR等）对生成的文本描述进行评估。将机器生成的描述与人类撰写的描述进行对比，以衡量生成描述的质量。

实验中，对ROBIN数据集进行了文本注释，收集了志愿者的4种不同描述作为参考。评估结果显示，生成的文本描述在各项指标上都取得了一定的分数，表明生成的描述与人类撰写的描述具有一定的相似性。例如，在BLEU指标上，生成描述的平均得分达到了0.72，说明生成的描述在单字和双字匹配方面表现较好。

与现有方法的对比

将本系统与现有的平面图分析和文本描述生成方法进行对比。对比的方面包括房间分类准确性、描述生成的完整性和自然度等。

与基于OCR的方法相比，本系统在处理未注释的平面图和多样化的平面图表示时具有明显优势。基于OCR的方法在面对复杂的平面图或缺乏清晰文本标注的情况下，往往无法准确识别房间名称；而本系统通过机器学习和BoD特征，能够更有效地处理这些情况。

与其他基于深度学习的图像描述生成方法相比，本系统在平面图领域具有更好的针对性。由于平面图图像的特殊性，传统的图像描述生成方法可能无法充分捕捉平面图中的关键信息；而本系统提出的BoD特征能够为平面图提供独特的表示，从而生成更准确、更详细的文本描述。

系统的应用与拓展

本系统在多个领域具有广泛的应用前景，同时也可以进行进一步的拓展和优化。

实际应用场景

• 辅助视觉障碍者导航 ：将生成的文本描述转换为语音合成系统，视觉障碍者可以通过听取语音描述来了解平面图的布局，从而在建筑物内更方便地导航。
• 房地产销售 ：购房者可以通过阅读生成的自然语言描述，更直观地理解房屋的布局和结构，提高购房决策的效率。
• 建筑设计与规划 ：设计师可以利用系统生成的描述，快速了解不同平面图的特点，为建筑设计和规划提供参考。

系统拓展方向

• 多模态信息融合 ：结合其他模态的信息，如3D模型、传感器数据等，进一步丰富平面图的描述，提供更全面的信息。
• 语义理解的深化 ：引入更高级的语义理解技术，如知识图谱、语义网络等，提高系统对平面图中语义信息的理解和处理能力。
• 实时处理能力提升 ：优化系统的算法和架构，提高系统的实时处理能力，使其能够在更短的时间内生成准确的描述。

总结

本工作提出了一个基于机器学习的平面图理解与文本描述生成系统，旨在解决用自然语言描述平面图图像的问题。通过提出新颖的“装饰包”（BoD）特征，结合多阶段处理方案和机器学习分类器，系统能够准确地识别平面图中的房间类型，并生成接近人类撰写的自然语言描述。

实验结果表明，本系统在房间分类和文本描述生成方面都取得了较好的效果，与现有方法相比具有明显的优势。同时，系统在多个实际应用场景中具有广泛的应用前景，并且可以通过进一步的拓展和优化来提升其性能和功能。未来，平面图理解与文本描述生成技术有望在更多领域得到应用和发展，为人们提供更便捷、更智能的信息获取方式。