3DGS应用探索

zaf赵

已于 2024-07-19 16:48:43 修改

阅读量1.2k

点赞数 30

分类专栏： 3D NeRF 文章标签：人工智能深度学习计算机视觉

于 2024-07-12 09:53:39 首次发布

本文链接：https://blog.youkuaiyun.com/zaf0516/article/details/140370706

版权

Presence 是什么？

2022 年 11 月，托马斯莫尔研究中心启动了“Presence”研究项目。通过这项研究，托马斯莫尔与 Vlaio 和 Presence 咨询小组（由来自佛兰德媒体行业的 20 多家企业组成）合作，旨在探索如何创建物体、个人和故事的数字表示并将其带入虚拟环境。

为了实现这一目标，我们将研究各种（XR）技术，例如动作捕捉、面部捕捉、文本到一切、2D 和 3D 化身、虚拟制作、摄影测量、3D 索具和 LiDAR 扫描。

虚幻引擎中通过键盘控制的逼真头像

介绍

Presence 团队长期以来一直致力于扫描环境，利用各种技术创建现有环境的数字孪生。这些精确的数字孪生可用于各种领域，例如录制、前期制作、虚拟规划、虚拟游览和虚拟培训。

创建数字孪生涉及一系列技术，最近加速使用人工智能/神经网络来生成此类模型。在我们第一年的研究中，我们探索了 NeRF 技术。

巴塞罗那 Ciutadella 的 NeRF

最近的发展导致了高斯分层的重新发现。最初出现在网络上的模型不仅质量高，而且在计算能力方面也更高效。这些发展为我们亲自测试这项新技术提供了足够的理由。

什么是高斯溅射？

高斯分布是一种创新方法，用于表示和渲染环境或对象（场景）。通过这项技术，我们可以利用一系列 2D 图像来创建场景的 3D 表示，捕捉场景的深度、颜色和不透明度。模型中的每个点都表示为 3D 高斯，类似于具有柔和边缘的空间椭圆体。

3D 高斯

通过使用基于图块的光栅化技术，可以以最小的计算能力快速渲染。在这种技术中，图像被分成多个图块，每个图块单独渲染。与一次渲染整个图像相比，这显著降低了渲染能力。

高斯溅射建立在摄影测量和神经辐射场 (NeRF) 的原理之上。摄影测量基于对 2D 照片的分析创建 3D 重建，但存在一些局限性。例如，摄影测量对光线敏感，通常难以捕捉细节，尤其是在颜色均匀的物体中（例如，穿着均匀黑色服装的人）。另一方面，NeRF 利用神经网络和深度学习来创建灵活而准确的 3D 模型，但需要强大的计算能力才能进行实时渲染。

场景的高斯分布是 3D 点的表示。平均而言，一个分布包含 0.5 到 5 百万个这样的 3D 点。每个 3D 点都有独特的参数，可以尽可能准确地表示场景。通过将机器学习技术应用于这些参数，可以有效地对复杂场景进行建模。如前所述，高斯分布利用基于图块的光栅化，无需机器学习。这可以用最少的计算能力快速渲染这些模型。由于其球谐特性，最终结果是可直接编辑的，并且可以响应虚拟光源，而这在 NeRF 中是无法实现的。