27、赛博物理人-机器人协作沉浸式混合现实交互框架——美术舞会4.0

赛博物理人-机器人协作沉浸式混合现实交互框架——美术舞会4.0

1 引言

在工业4.0的新虚拟环境背景下，我们提出了对美术舞会（Beaux Arts Ball）的当代诠释。美术舞会4.0是一个交互式混合现实环境，它借鉴了纽约建筑联盟舞会的传统，处于第四次工业革命的背景之中。

我们探索了如何在空间背景下通过传感器系统来连接物理世界和数字世界，拓展了当前混合现实体验的形式。在这个过程中，人体和机器人都被设计成“聚合”角色，它们的行为和表现有助于构建“聚合”环境。这一过程最终呈现为一场建筑增强型的机器人表演。观察者的位置和视角将被实时跟踪，以展示增强环境，其中包括远程参与者的化身和数字增强的物理机器人。数字化身和增强的库卡（KUKA）机器人是合成场景中的参与者，它们根据参与者的输入和通过机器学习形成的不同行为模式相互交互。

本研究基于消费级VR设备HTC VIVE VR系统和两个库卡6轴KR150关节机械臂。主要使用的平台和程序包括Unity 3D、Steam VR和Autodesk MAYA，此外还使用了通过UDP/IP用户数据报协议与机器人交换数据的机器人驱动程序。

2 相关工作

2.1 美术舞会的历史渊源

美术舞会起源于法国的美术学院舞会，包括服装设计、变装表演（常常是从人变身为建筑）、塞纳河上的标志性花车以及其他一些质疑和重新诠释人类存在的滑稽行为，并且需要设计形式在社交空间中参与其中。以服装和场景形式呈现的设计元素被视为参与者，通过创造一个在视觉和体验上对人体及其与其他物体相邻关系有不同诠释的替代现实，增加了社交互动的复杂性。美术舞会和其他历史上人体被改变并与一些概念设计内容融合的化妆派对精神，为如今许多社交