43、迈向 6G 时代的 AI 辅助扩展现实技术

迈向 6G 时代的 AI 辅助扩展现实技术

1. AI 辅助增强现实（AR）

1.1 虚拟对象的创建

虚拟对象是 AR 应用中的重要组成部分，常见形式有文本、图像、语音、动画和 3D 模型等。创建方式主要有两种：
- 手动创建 ：在开发阶段手动生成虚拟对象，在 AR 应用运行时，当相机识别到真实对象后相应显示。
- AI 实时创建 ：利用基于 AI 的方法在运行时创建虚拟对象。例如，通过 AI 技术将相机拍摄的图像输入模型生成 2D 图像；使用 CNN、RNN 等技术为相机识别的真实对象生成草图；ClipDrop 能让用户用手机相机扫描现实物体并转换为数字对象，AI 可准确去除扫描对象的背景；SketchAr 扫描绘图时的笔触动作创建数字草图，并可通过 AI 转换为其他形式。此外，在 AR 应用的声音合成和音频识别中也会用到 AI，如用户说出“宠物”，可创建狗的虚拟对象显示。AI 还能基于相机输入的图像进行 3D 重建，生成 2D 模型、点云或网格。机器学习和深度学习可用于开发自适应增强效果，辅助选择渲染时要显示的数据。为减小 AR 应用大小，可在边缘或云端处理图像，应用合适算法生成草图后传回显示界面，5G 和 6G 网络能为此提供支持。

1.2 虚拟对象的显示

1.2.1 注册

生成虚拟对象后，需将其与用户环境进行正确的放置和对齐，这一过程称为注册。注册依赖相机校准记录的各种参数，确保虚拟对象正确显示在视觉界面（如手机屏幕或 AR 眼镜）上。在 AR 应用中，可能会出现注册错误，如虚拟对象与现实世界中对应对象的位置和对齐不正确，导致