37、建筑模型编码与增强现实在建筑设计中的应用

建筑模型编码与增强现实在建筑设计中的应用

1. 多维建筑模型编码

在建筑设计领域，将复杂的 3D 模型进行有效编码和解码是一项重要的研究内容。这里介绍了一种将复杂 3D 模型编码成单张图像的方法，下面来详细了解其原理和过程。

1.1 像素图结构与图例

像素图是编码的关键载体，其结构包含四个列（A、B、C、D）和图例。四个列代表模型的所有切片划分，而图例位于像素图最左侧，负责控制模型的比例和整体几何形状。具体来说，图例中第 1 - 2 像素存储每个切片的局部原点，第 3 - 4 像素存储切片间距值，第 5 - 8 像素存储每个切片段的原始细分比例。

像素位置	存储内容
1 - 2	每个切片的局部原点
3 - 4	切片间距值
5 - 8	每个切片段的原始细分比例

由于切片段中可表达的点位置数量约为 1024 × 1024 像素图中可存储位置数量的 256 倍，所以很多情况下需要对点云切片进行采样。采样后，测试了四种不同的像素排序策略，分别是基于材料（红色通道）排序、基于距原点的位置距离排序、基于距原点的位置和材料距离排序以及基于“旅行商问题”的 2D 排序。

graph LR
    A[采样点云切片] --> B[基于材料排序]
    A --> C[基于位置距离排序]
    A --> D[基于位置和材料距离排序]
    A --> E[基于“旅行商问题”2D 排序]

1.2 解码过程

解码从读取和结构化 .raw 图像文件开始。接着，提取并解码图例像素，得到切片原点、切片间距和四个域维度。剩余四个列（A、B、C、D）的像素通道被拆分，用于定义模型点的位置和材质。其中，绿色和蓝色通道分别作为点的 x 和 y 坐标，红色通道定义材质。为了将列中的点放置到切片的正确区域，需要对 A 和 C 列的所有绿色值以及 C 和 D 列的所有蓝色值进行反转。此时，所有解码点位于围绕原点的单个平面上。为引入模型的第三维，理想情况下使用从图例第 3 - 4 像素解码得到的间距值。为避免段失真，将点坐标映射到从图例第 5 - 8 像素解码得到的原始域维度。如果为段使用了单独的原点，则每个段通过图例第 1 - 2 像素解码的向量进行移动。若合适，图例可以用其他数值操纵器代替。

解码步骤如下：
1. 读取和结构化 .raw 图像文件。
2. 提取并解码图例像素，得到切片原点、切片间距和四个域维度。
3. 拆分四个列的像素通道，定义模型点的位置和材质。
4. 反转 A 和 C 列的绿色值以及 C 和 D 列的蓝色值。
5. 引入第三维，使用解码的间距值。
6. 映射点坐标到原始域维度。
7. 若有单独原点，移动段。
8. 必要时用其他数值操纵器代替图例。

2. 编码和解码工作流程评估

为评估上述编码和解码工作流程的性能，使用了一个包含 50 个著名建筑房屋 3D 模型的数据集，这些模型跨越了 500 年的建筑历史。所有模型根据上述方法进行构建和标注，且每个模型具有相似的细节水平和完整建模的内部结构。

2.1 图像编辑实验

将完整的 3D 模型编码成单张图像为通过既定的图像编辑技术操纵模型提供了新机会。为测试其潜力，对四个房屋模型进行编码，并探索了颜色通道调整、色调改变、饱和度改变、混合、拼贴和图例交换等图像编辑操作。由于图例对解码结果影响巨大，在前五种操作中排除了图例，以便更好地评估各种编辑操作的效果。

实验结果表明，通过通道、色调或饱和度进行大幅度颜色调整容易使初始 3D 模型失真到无法识别，而较小的值，尤其是色调方面，会呈现出有趣的变形。混合和拼贴三种不同像素图的结果产生了令人兴奋的点云模型，显示出通过这些方法生成新形状的巨大潜力。

graph LR
    A[编码 3D 模型为图像] --> B[颜色通道调整]
    A --> C[色调改变]
    A --> D[饱和度改变]
    A --> E[混合操作]
    A --> F[拼贴操作]
    A --> G[图例交换]
    B --> H[可能导致模型失真]
    C --> I[小值产生有趣变形]
    D --> J[小值产生有趣变形]
    E --> K[生成新形状]
    F --> K
    G --> L[重新映射模型边界]

2.2 StyleGan 实验

2D StyleGans 在生成与训练数据极为相似的合成结果方面表现出色。实验使用了 Nvidia 的 StyleGan2 Ada 基础库，测试网络基于编码结构生成新图像的能力，并观察解码点云模型中建筑形式的再现程度。

• 基于片段的训练 ：为生成足够的训练数据，使用了 50 个建筑 3D 房屋模型的完整数据集。按照编码方法，为每个切片方向从 50 个 3D 模型中获取 50 个像素图。为增加训练数据集的大小，将所有像素图沿列分割成十六个 256 × 256 像素的片段。StyleGan2 Ada 网络使用约 2000 张 256 × 256 分辨率的图像数据集进行训练，并利用迁移学习，在 256 × 256 的 FFhQ - 10k 数据集上进行训练，训练了 3000 kimg。生成的合成图像布局相似但内容有限，虽然合成像素图片段的建筑属性模糊，但解码成点云模型后，部分显示出训练数据可识别的空间属性。
• 基于整个模型的训练 ：与片段训练类似，组装了包含 50 个建筑 3D 模型的像素图数据集。这次不分割像素图，而是通过将每个房屋在五个方向上切片并垂直镜像，使训练数据集增加到 500 张图像。图例存储了每个像素图中全局域的尺寸和原点，为整个图中的模型尺寸提供了代表性信息。StyleGan2 Ada 网络使用与片段训练相同的基本参数，但在 1024 × 1024 分辨率下进行训练。由于数据集相对较小，解码结果不太能表明使用 StyleGan 创建新形状的可行性。大多数解码图像产生的模型嘈杂且模糊，没有特别明显的空间属性，只有少数较成功的图像中，图例和噪声看起来不那么随意，云团中的材料分布显示出一些模仿原始 3D 模型特征的清晰度。

3. 增强现实在建筑设计与建造中的应用

增强现实（AR）技术在建筑领域正发挥着越来越重要的作用。AR 技术自 1997 年被定义以来，不断发展并逐渐进入日常生活。过去十年，随着 AR 头戴设备的发明和 AR 就绪智能手机、平板电脑的普及，AR 的研究和应用呈爆炸式增长。其目的始终是弥合虚拟数据与现实世界之间的差距。

在建筑设计方面，传统的 2D 或繁琐的 3D 表示方式，如平面草图或物理比例模型，限制了设计的直观性和现场可视化与修改能力。即使使用计算机辅助建筑设计和建模软件生成数字 3D 模型，预览仍局限于 2D 屏幕，缺乏现场直观体验，可能导致设计与最终制造之间存在差异。而 AR 技术可以轻松创建 3D - 4D 模型作为现场全息图，并且其手势和语音捕获功能增加了人与数据之间的交互潜力。

在建筑数字制造方面，新兴的机器人制造方法虽然具有整合建筑设计和工程实践的巨大潜力，但机器人操作过程需要复杂的知识和熟练的编程人员，这对于传统建筑师来说是一项挑战。现有的机器人操作插件在 Rhino - Grasshopper 平台上使用效率低、复杂且存在调试和不稳定问题，缺乏对缺乏经验的建筑师的安全模拟和保护。AR 技术可以通过用户界面捕获交互输入并显示现场全息模拟，为建筑师提供一种简单、安全且低门槛的控制机器人的方法。

4. 现场 AR 沉浸式设计到制造框架

为了探索 AR 技术如何改变和发展传统的建筑设计到组装方法，提出了现场 AR 沉浸式设计到制造框架。该框架由两个主要阶段组成：

4.1 算法沉浸式设计阶段

在这个阶段，通过 AR 识别用户的手势和交互，进行沉浸式设计和模拟过程。用户可以在 AR 环境中直观地进行设计操作，利用手势和语音与虚拟模型进行交互，获取设计灵感。

4.2 机器人组装阶段

用户通过与 AR 用户界面（UI）交互来控制机械臂进行组装。这种方式将使用高科技设备组装参数化结构的任务交还给设计师，使他们能够掌握并参与整个设计到制造的过程。

为验证这个 AR 辅助框架，进行了四个基于砖块的柱子的设计和组装实验。实验结果表明，该框架提供了一种新颖、直观的设计灵感和体验，超越了传统设计方法。建筑师和设计师可以通过 AR 环境更简单、直观地修改和构建他们的设计。

graph LR
    A[算法沉浸式设计阶段] --> B[识别用户手势和交互]
    B --> C[沉浸式设计和模拟]
    A --> D[获取设计灵感]
    E[机器人组装阶段] --> F[与 AR UI 交互]
    F --> G[控制机械臂组装]

综上所述，通过多维建筑模型编码和解码以及 AR 技术在建筑设计与制造中的应用，为建筑领域带来了新的方法和体验。虽然目前的研究还存在一些局限性，如编码技术仅适用于实体模型、图像编辑工具与建模软件缺乏直接连接、StyleGan 训练数据不足等，但这些成果为未来的建筑设计和研究提供了有价值的参考和方向。随着技术的不断发展和数据的增加，有望进一步提升建筑设计的效率和质量，创造出更多新颖的建筑形式。

建筑模型编码与增强现实在建筑设计中的应用

5. 研究成果总结与优势分析

通过上述的研究和实验，我们可以清晰地看到多维建筑模型编码以及增强现实在建筑设计与制造中所带来的显著成果和优势。

5.1 多维建筑模型编码成果

• 编码与解码的可行性 ：成功地将复杂的 3D 建筑模型编码为单张图像，并能够将图像解码回 3D 模型，实现了模型在不同形式之间的转换，为建筑模型的存储和传输提供了新的方式。
• 图像编辑创造新模型 ：通过图像编辑技术，如颜色通道调整、混合、拼贴和图例交换等，可以在一定程度上创造出新颖的 3D 建筑模型，为建筑设计提供了更多的创意灵感。
• StyleGan 生成潜力 ：虽然目前 StyleGan 的训练数据有限，但在一定程度上能够生成具有部分原始数据集空间特征的新模型，显示出利用机器学习技术生成建筑模型的潜力。

编码成果	具体表现
编码与解码可行性	3D 模型与单张图像的相互转换
图像编辑创造新模型	颜色调整、混合、拼贴等操作生成新模型
StyleGan 生成潜力	生成具有部分原始特征的新模型

5.2 增强现实在建筑设计中的优势

• 直观设计体验 ：AR 技术提供了沉浸式的设计环境，用户可以通过手势和语音与虚拟模型进行交互，获得更加直观的设计灵感和体验，摆脱了传统 2D 或繁琐 3D 表示方式的限制。
• 现场可视化与修改 ：能够在现场实时显示 3D - 4D 模型的全息图，方便设计师在实际场景中进行可视化和修改，减少设计与最终制造之间的差异。
• 低门槛机器人控制 ：通过 AR 用户界面，建筑师可以简单、安全地控制机器人进行组装，降低了机器人操作的技术门槛，使设计师能够直接参与到制造过程中。

6. 研究局限性与改进方向

尽管取得了一定的成果，但研究过程中也暴露出了一些局限性，需要在未来的研究中加以改进。

6.1 多维建筑模型编码局限性

• 仅适用于实体模型 ：当前的编码技术仅能处理实体模型，对于一些复杂的非实体模型或特殊结构的处理能力有限，限制了其应用范围。
• 图像编辑与建模软件缺乏连接 ：图像编辑工具与建筑建模软件之间没有直接的连接，导致在设计过程中无法实现高效的迭代和修改，影响了设计效率。
• StyleGan 训练数据不足 ：StyleGan 的训练数据相对较少，导致生成的模型质量不高，空间属性不明显，需要更多的数据来提高其性能。

改进方向如下：
1. 拓展编码技术，使其能够处理更多类型的建筑模型，包括非实体模型和特殊结构。
2. 建立图像编辑工具与建筑建模软件之间的直接连接，实现设计过程的无缝衔接。
3. 收集更多的训练数据，优化 StyleGan 的训练过程，提高生成模型的质量和空间属性。

6.2 增强现实应用局限性

• 硬件设备限制 ：AR 技术的应用依赖于硬件设备，如 AR 头戴设备和智能手机等，目前这些设备的性能和功能还存在一定的局限性，影响了 AR 体验的质量。
• 场景适应性不足 ：在不同的建筑场景中，AR 技术的应用效果可能会受到环境因素的影响，如光照、遮挡等，导致全息图的显示效果不佳。

改进方向如下：
1. 推动 AR 硬件设备的技术发展，提高设备的性能和功能，如增加显示精度、延长电池续航时间等。
2. 开发适应不同建筑场景的 AR 算法和技术，提高 AR 技术在复杂环境中的适应性和稳定性。

7. 未来展望

随着技术的不断进步和研究的深入，多维建筑模型编码和增强现实技术在建筑领域的应用前景十分广阔。

7.1 建筑设计创新

• 创意无限 ：通过图像编辑和机器学习技术，设计师可以获得更多的创意灵感，创造出前所未有的建筑形式，推动建筑设计的创新发展。
• 个性化设计 ：结合用户的需求和喜好，利用编码和解码技术以及 AR 技术，可以实现建筑的个性化设计，满足不同用户的特殊需求。

7.2 建筑制造高效化

• 自动化生产 ：AR 技术与机器人制造的结合将进一步提高建筑制造的自动化程度，减少人工干预，提高生产效率和质量。
• 远程协作 ：利用 AR 技术，设计师和工程师可以进行远程协作，实时共享设计信息和制造进度，提高项目的管理效率。

graph LR
    A[未来展望] --> B[建筑设计创新]
    A --> C[建筑制造高效化]
    B --> D[创意无限]
    B --> E[个性化设计]
    C --> F[自动化生产]
    C --> G[远程协作]

总之，多维建筑模型编码和增强现实技术为建筑领域带来了新的机遇和挑战。虽然目前还存在一些局限性，但通过不断的研究和改进，相信这些技术将在未来的建筑设计和制造中发挥更加重要的作用，为人们创造出更加美好的建筑环境。