GaussianSplattingVRViewerUnity：实时渲染新视界

GaussianSplattingVRViewerUnity：实时渲染新视界

GaussianSplattingVRViewerUnity A VR viewer for gaussian splatting models developped as native plugin for unity with the original CUDA rasterizer. 项目地址: https://gitcode.com/gh_mirrors/ga/GaussianSplattingVRViewerUnity

项目介绍

GaussianSplattingVRViewerUnity 是一款基于 Unity 的开源项目，旨在利用 3D 高斯涂抹技术（3D Gaussian Splatting）实现实时辐射场渲染。该技术由 Kerbl、Kopanas、Leimkühler 和 Drettakis 在 SIGGRAPH 2023 大会上发布的论文中提出，相比其他神经辐射场（NERF）技术，具有令人印象深刻的渲染速度。

本项目由 Clarte 团队开发，集成了微分高斯光栅化技术，并作为 Unity 原生插件，创建了一个用于查看高斯涂抹学习模型的 OpenXR 观众。此项目是高斯涂抹渲染器的原始实现，使用 CUDA 编写。此外，该插件在不支持 OpenXR 的情况下也能在 Unity 中渲染高斯涂抹。

项目技术分析

GaussianSplattingVRViewerUnity 的核心是 3D 高斯涂抹技术，它通过在三维空间中扩散点云的方式，创建出连续的辐射场，实现高质量的实时渲染。这种技术特别适合于 VR 场景，因为它能够快速生成复杂的场景，而不会对性能产生过大影响。

项目使用 CUDA 进行高性能计算，并在 Unity 中实现交互式的 VR 体验。插件支持加载多个模型，允许在多个相机上渲染高斯涂抹效果，并能够与 3D 场景进行深度混合。

项目及技术应用场景

GaussianSplattingVRViewerUnity 的应用场景广泛，尤其在虚拟现实（VR）、增强现实（AR）以及实时渲染领域。以下是几个典型应用场景：

1. 虚拟现实游戏：利用高斯涂抹技术，可以在 VR 游戏中创建逼真的环境和动态效果。
2. 教育培训：通过 VR 体验，让学生在虚拟环境中学习复杂的科学概念。
3. 工业设计：设计师可以在 VR 中实时查看并交互设计原型，提高设计效率。

项目特点

• 高性能渲染：使用 CUDA 实现高效的渲染计算，满足实时渲染的需求。
• 多模型支持：能够同时加载和渲染多个模型，增加应用灵活性。
• 交互式体验：通过 VR 控制器实现场景旋转、移动和缩放，提供沉浸式交互体验。
• 易于集成：插件支持从源代码编译或直接使用预编译的 DLL，方便集成到 Unity 项目中。

安装和使用

硬件要求

• 操作系统：Windows 10
• CPU：Intel Core i7-11700K 或更高配置
• 内存：至少 16GB RAM
• GPU：CUDA 计算能力 7.0+ 的 GPU，推荐使用 NVIDIA GeForce RTX 4070 或更高配置
• VR 设备：兼容 OpenXR 的 VR 头盔

如何开始

下载最新的 VR 观众版本，并连接你的 VR 头盔，将其设置为默认的 OpenXR 运行环境。运行 GaussianSplattingVRViewer.exe 可执行文件，即可在 OpenXR 环境中启动 VR 应用。

在应用中，你可以通过菜单加载不同的模型，并通过 VR 控制器进行交互操作。

性能表现

在测试的 "bicycle" 场景中，使用 NVIDIA GeForce RTX 3060 Ti GPU 渲染 1024x1024 像素，OpenXR 环境下的性能表现如下：

• OpenXR（双眼，90° 视场）：38ms（26 FPS）

这些数据显示，GaussianSplattingVRViewerUnity 在保持高质量图像的同时，能够提供流畅的 VR 体验。

通过上述介绍，GaussianSplattingVRViewerUnity 无疑是一个值得关注的 Unity 开源项目，它为实时渲染领域带来了新的可能性，无论是对于开发者还是最终用户，都具有极高的实用价值和吸引力。

GaussianSplattingVRViewerUnity A VR viewer for gaussian splatting models developped as native plugin for unity with the original CUDA rasterizer. 项目地址: https://gitcode.com/gh_mirrors/ga/GaussianSplattingVRViewerUnity