38、增强砖块：从现场 AR 沉浸式设计到制造的创新之路

增强砖块：从现场 AR 沉浸式设计到制造的创新之路

在建筑领域，传统的设计与制造流程往往存在诸多局限。而随着科技的发展，增强现实（AR）和机器人技术为建筑行业带来了新的变革。本文将介绍一种创新的框架，它结合了 AR 沉浸式设计和机器人辅助组装，用于砖石结构的设计与制造。

1. 框架概述

该框架分为两个主要阶段：沉浸式设计和 AR 辅助机器人组装，每个阶段都有相应的数字设计和物理结构输出。
- 软件方面 ：使用 Rhinoceros/Grasshopper 进行设计算法开发，结合 PhysX 插件进行结构稳定性模拟，Robots 插件用于机器人操作轨迹和夹具命令开发，以及 Fologram 这个用于 Grasshopper 的 AR 插件来识别 AR 中的交互。
- 硬件方面 ：包括 iPhone 11 等手持设备、Microsoft HoloLens 1 头戴设备用于 AR 体验，Universal Robots 10 机械臂搭配 Robotiq 2F - 140 夹具用于机器人操作，还有一台笔记本电脑用于后端运行和调试。所有设备通过 WIFI 路由器连接在同一 IP 地址网络环境中，以实现不同阶段数据的传输和设计软件及插件的实时指令可视化和响应输出。

下面是框架的流程图：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A([开始]):::startend --> B(沉浸式设计):::process
    B --> C(数字设计):::process
    C --> D(AR 辅助机器人组装):::process
    D --> E(物理结构):::process
    E --> F([结束]):::startend

2. 沉浸式设计阶段

沉浸式设计阶段是整个过程的第一步，包括 3D 现场环境扫描、基于手势或屏幕的交互式设计输入、结构模拟反馈以及多设计师数据共享。其目的是为建筑师提供一个可共享的 3D - 4D 建模环境，让他们在建筑结构建造前进行现场虚拟空间实验和结构合理性反馈。

2.1 3D 现场环境扫描

在进行 AR 沉浸式设计之前，用户需要对现场进行 3D 扫描。提供了两种空间环境扫描方式：
- 简单环境扫描 ：
1. 激活 Fologram 插件中的“Track Scan”功能，用户使用智能设备或头戴设备，在稳定光源的现场环境中，通过摄像头平稳环顾进行实时数字化环境扫描。
2. 物理环境将在 Grasshopper 中转换为简单网格，供建筑师作为现场设计基础。
3. 使用 Aruco Markers 在现场设置基准参考点，通过 AR 设备扫描标记将其数字化，以调整和对齐数字环境或设置设计边界，提高设计平面的准确性。转换后的现场基础网格存储在 QR 码中供后续使用。
- 复杂环境扫描 ：对于复杂环境或不确定的现场基础，建议用户激活智能设备的 Capture App 或 HoloLens 的空间映射功能，扫描并导入高精度的数字 3D 网格，在软件中进一步编辑后再使用 Aruco Markers 设置基准参考点。

2.2 沉浸式设计过程

• 选择设计算法 ：用户可以从设计库中选择代表不同砖石结构形状的算法，这些算法遵循参数化设计逻辑，为 AR 交互提供基本的形状控制和设计约束，减少过度活跃的 AR 交互输入的影响。建筑师还可以在开放平台上根据需要自定义设计算法。
• 释放现场基础数据 ：扫描上一步生成的 QR 码，将虚拟现场全息图与物理环境在 AR 中立即对齐，供用户预览。
• 激活 AR 沉浸式设计 UI ：通过 Fologram 在 AR 设备中的开源功能设计的 UI，用户可以使用手势或屏幕输入方法实时交互和调整参数滑块。设计和修改输入与设计算法相连，用户可以立即预览现场 3D 全息图。
• 结构稳定性模拟 ：使用 PhysX 对设计结构进行稳定性模拟，用户可以通过全息动画预览结果，找到脆弱连接部分并根据框架反馈循环进行修改。完成所有模拟和修改后，设计结构将进入机器人组装阶段。

这一阶段的优点在于适合各种交互式输入模式，支持不同的自定义算法设置，打破了传统的 2D 设计方法，为设计师提供了 3D - 4D 沉浸式感知。但也存在一些局限性，如设计算法需要预先设置，当前砖石结构的稳定性依赖自身重量，限制了设计算法的多样性和复杂性；现场环境可能比实验室环境复杂，系统在面对复杂环境和不稳定光照时会产生公差，需要引入额外传感器提高处理复杂环境干扰的准确性。

下面是沉浸式设计阶段的步骤总结表格：
|步骤|操作内容|
|----|----|
|3D 现场环境扫描|简单环境：激活“Track Scan”功能扫描，转换为网格，使用 Aruco Markers 设置基准；复杂环境：使用 Capture App 或空间映射功能扫描导入高精度网格后设置基准|
|选择设计算法|从设计库选择或自定义算法|
|释放现场基础数据|扫描 QR 码对齐虚拟与物理环境|
|激活 AR 沉浸式设计 UI|使用手势或屏幕输入调整参数|
|结构稳定性模拟|使用 PhysX 模拟并根据反馈修改|

3. AR 辅助组装阶段

AR 辅助组装阶段是验证实验的第二阶段，包括物理组装分割和 AR 辅助机器人操作。其目的是为建筑师提供一种简单、安全、低门槛的方法来控制工业机器人，减少因建筑师缺乏计算机科学知识和编码技能而导致的设计 - 建造公差。

3.1 物理组装分割

完成 AR 沉浸式设计后，用户使用 Robots 插件将设计输出上传到系统。根据实验室机械臂的操作半径和结构大小，设置一个组装分割范围框（500 * 500 * 600 mm，可根据不同机器人品牌和组装情况调整），将设计结构按此范围框分割成多个部分，以适应机械臂的工作半径。

3.2 AR 辅助机器人操作

• 定位虚拟全息世界 ：用户在 AR 设备中扫描阶段 1 生成的 QR 码，将虚拟全息世界（包括虚拟机械臂、环境网格、范围框和待组装的设计结构部分）定位到物理机器人操作现场。
• 选择目标并显示轨迹 ：结构被分割成泡沫砖元素作为目标，用户通过手势或屏幕在 AR 中手动指定预设计结构全息图作为目标，系统将立即显示从泡沫砖拾取位置到目标位置的机器人操作轨迹作为全息线。
• 预览操作动画并调整参数 ：用户可以预览机器人拾取和放置操作的全息动画，并通过 AR 辅助机器人操作 UI 调整机器人设置参数，如夹具开合命令、操作模式、操作速度等。
• 实现自动化组装 ：模拟达到预期结果后，用户通过 AR UI 按下上传按钮，实现机器人自动化组装。对于特殊组装顺序，用户可以在 AR UI 中手动选择每层甚至每块砖作为目标。完成各个部分的建造后，用户根据 AR 指令手动按顺序组装这些部分。

这一阶段的优点是为用户提供了更便捷、直观的机器人组装操作方式，即使是无经验的建筑学生也能轻松操作，且具有更高的灵活性，可避免传统方法因长代码导致的连接不稳定问题。但也存在一些不足，如目前仅使用了机器人夹具，未来可考虑使用其他末端执行器；仅依赖手势和交互控制机器人存在公差问题，需要引入更多传感器提高目标位置的识别和物理 - 虚拟对齐能力；当前砖石结构仅依靠自身重量连接，稳定性不足；UI 在完成部分物理结构组装后，全息图和物理砖的阴影重叠，影响用户视觉选择，需要进一步改进可视化效果。

下面是 AR 辅助组装阶段的步骤总结表格：
|步骤|操作内容|
|----|----|
|物理组装分割|根据机械臂操作半径和结构大小设置范围框，分割设计结构|
|定位虚拟全息世界|扫描 QR 码将虚拟世界定位到物理现场|
|选择目标并显示轨迹|手动指定目标，显示操作轨迹|
|预览操作动画并调整参数|预览动画，通过 UI 调整参数|
|实现自动化组装|模拟达标后上传指令，手动选择特殊顺序目标，完成部分组装后手动按 AR 指令组装整体|

综上所述，这种结合 AR 沉浸式设计和机器人辅助组装的框架为砖石结构的设计与制造带来了新的可能性，但仍有一些方面需要进一步改进和研究，如引入额外传感器解决公差问题、开发互锁砖接头和使用粘合剂提高结构稳定性、改进 UI 可视化效果等。未来，该框架有望应用于实际建筑组件的设计和施工中，实现建筑设计与高科技施工技术的更好融合。

增强砖块：从现场 AR 沉浸式设计到制造的创新之路

4. 框架优势与局限性分析

为了更清晰地了解该框架的特点，下面通过表格形式对其优势和局限性进行对比分析：
|类别|优势|局限性|
|----|----|----|
|沉浸式设计阶段|适合各种交互式输入模式，支持不同自定义算法设置；打破传统 2D 设计方法，提供 3D - 4D 沉浸式感知|设计算法需预先设置；当前砖石结构稳定性依赖自身重量，限制设计算法多样性和复杂性；现场环境复杂时系统会产生公差|
|AR 辅助组装阶段|为用户提供便捷、直观的机器人组装操作方式，无经验者也能轻松操作；灵活性高，可避免传统方法连接不稳定问题|目前仅使用机器人夹具；仅依赖手势和交互控制机器人存在公差问题；砖石结构稳定性不足；UI 可视化效果有待提高|

从上述表格可以看出，该框架在设计和组装阶段都展现出了显著的优势，但也存在一些亟待解决的问题。

5. 改进方向与未来展望

针对框架存在的局限性，以下是具体的改进方向和未来的展望：

5.1 公差问题解决

公差问题是目前框架面临的重要挑战之一，尤其是在物理 - 虚拟对齐和机器人抓取位置方面。为了解决这个问题，可以采取以下操作步骤：
1. 引入额外传感器 ：如 Xbox Kinect 或 Azure Kinect 等传感器，用于精确扫描现场设计环境和设计基础，提高机器人对砖块的识别和抓取精度，减少因依赖手势和交互控制带来的公差。
2. 优化组装流程 ：在设计过程中，虽然轻微的全息图偏移对沉浸式设计、修改和预览影响不大，但在组装过程中，需要预先计算公差并将其纳入组装流程，以确保物理对象的准确性。例如，可以在机器人操作前，对每个砖块的位置和姿态进行精确测量和调整。

5.2 结构稳定性增强

当前砖石结构仅依靠自身重量保持稳定，限制了设计的复杂性和多样性。为了增强结构稳定性，可以采取以下措施：
1. 开发互锁砖接头 ：研究和开发互锁砖接头，使砖块之间能够相互锁定，提高结构的整体稳定性，减少对重力的依赖。
2. 使用粘合剂 ：考虑使用如砂浆和胶水等粘合剂，将砖块牢固地连接在一起，进一步增强结构的稳定性。这样可以为更复杂的沉浸式设计算法和更灵活的交互式输入提供支持，激发建筑师的创造力。

5.3 设备和功能拓展

目前的框架在设备和功能方面还有很大的拓展空间：
1. 增加机器人末端执行器 ：除了现有的机器人夹具，未来可以考虑使用其他末端执行器，如热线切割工具和 3D 打印工具，以扩大框架的应用范围。
2. 改进 UI 可视化效果 ：针对 UI 在完成部分物理结构组装后出现的全息图和物理砖阴影重叠问题，进行可视化效果的改进。例如，只显示选中的全息图目标，其余部分以线框形式显示或隐藏，方便用户操作。

5.4 扩大应用场景

为了实现框架在更广泛领域的应用，可以进行以下尝试：
1. 使用真实砖块进行实验 ：目前的实验主要使用泡沫砖，未来需要使用真实砖块进行重复实验，因为真实砖块可能具有不同的物理行为，这将有助于优化框架，使其更适用于实际建筑项目。
2. 结合移动机器人平台 ：将机械臂安装在 MiA 移动机器人平台上，摆脱实验室环境的空间限制，实现现场 AR 沉浸式设计到制造框架在建筑规模应用中的目标。

下面是未来改进和拓展的流程图：

graph LR
    classDef startend fill:#F5EBFF,stroke:#BE8FED,stroke-width:2px;
    classDef process fill:#E5F6FF,stroke:#73A6FF,stroke-width:2px;
    A([开始]):::startend --> B(解决公差问题):::process
    A --> C(增强结构稳定性):::process
    A --> D(拓展设备和功能):::process
    A --> E(扩大应用场景):::process
    B --> F(引入传感器):::process
    B --> G(优化组装流程):::process
    C --> H(开发互锁砖接头):::process
    C --> I(使用粘合剂):::process
    D --> J(增加末端执行器):::process
    D --> K(改进 UI 可视化):::process
    E --> L(使用真实砖块实验):::process
    E --> M(结合移动机器人平台):::process
    F --> N([结束]):::startend
    G --> N
    H --> N
    I --> N
    J --> N
    K --> N
    L --> N
    M --> N

综上所述，这种结合 AR 沉浸式设计和机器人辅助组装的框架为砖石结构的设计与制造带来了新的可能性。虽然目前还存在一些局限性，但通过不断的改进和拓展，有望在未来实现建筑设计与高科技施工技术的完美融合，为建筑行业带来新的变革。