直击3D内容创作痛点-火山引擎多媒体实验室首次主持SIGGRAPH Workshop，用前沿技术降低沉浸式内容生成门槛

当3D、VR技术在游戏、教育、医疗、文化领域遍地开花，“内容短缺”却成了制约行业爆发的关键瓶颈——传统3D/4D创作不仅耗时耗力、依赖专业技能，还难以适配消费级设备，让许多创作者望而却步。近日，由火山引擎多媒体实验室联合领域顶尖学者与产业专家，发起了“Efficient 3D Content Creation for Immersive Experiences”专题Workshop，在今年的SIGGRAPH会议上和与会学者一起展开热烈讨论，以“降低创作门槛，链接技术与产业”为核心，用前沿技术为3D、VR内容生态破局！

在SIGGRAPH上，火山引擎多媒体实验室以“ 3D内容创作”为核心，带来了三大价值：

前沿技术深度解析：从“稀疏数据快速重建3D物体、数字人、场景”、“单目视频生成4D动态内容”，到“AIG3D”，多媒体实验室的研发人员联合了领域顶尖研究者一起揭秘SoTA技术的进展，以及如何让先进3D技术适配手机、VR头显等消费级设备。
沉浸式交互体验：现场，很多参与者戴上Apple Vision Pro、Pico头显，以及通过手机终端，亲自体验火山引擎多媒体实验室提供的“体积视频”、“单目生成VR”内容，以及AI生成的3D内容进行交互--让技术不在停留在论文，而是可感知的真实体验。
产学研对话闭环：多媒体实验室的研发人员在会上带来了从VR应用、到视频直播等行业的落地案例，并连同现场学者共同探讨“降低3D内容生成成本”“3D视频标准”等关键问题，推动科研成果转化为可落地的解决方案。

体积视频

不同于传统的二维视频，立体的体积视频打破了屏幕的限制，更加沉浸式的提供了自由视角的观看体验。火山引擎多媒体实验室围绕着高保真的多模态体积视频生成展开了一系列的研究并进行了相关研究成果的分享。这些研究针对于资产高效率生成、实时交互、以及运动迁移等多方面展开算法构建，相关成果已发表于CVPR、Siggraph等国际顶级会议。

运动估计联合表征解耦的一致性体积视频建模

针对复杂运动场景中静态与动态物体的协同建模需求，多媒体实验室提出了新颖的基于高斯的体积视频表示方法，实现了稳健的人体表演跟踪与高保真渲染。该研究的核心思想是利用双高斯，以实现运动与外观的解耦与分层表示。该方法显著提升了时间一致性与跟踪精度，并支持高效的压缩策略。此外，本方法在存储效率上表现突出，每帧仅需约 350KB 存储空间。同时，该方案在渲染质量上保持高度竞争力，并在各种具有挑战性的场景中持续展现出卓越的渲染效果与时间一致性。

实验室利用紧凑数量的运动感知关节高斯来捕捉全局运动，并结合更多的外观感知皮肤高斯来进行视觉表示。为了建立双高斯之间的关系，每个皮肤高斯会锚定于多个关节高斯，从而支持位置与旋转的插值并辅助后续的序列优化。随后，在逐帧的人体表演跟踪中，实验室提出了一种新颖的由粗到细的优化策略，以同时提升时间一致性与渲染保真度。

在上述显式表达的基础上，实验室更进一步设计了相关的压缩方案，通过可持久化码本的方式，最高可达 120 倍 的压缩比。使得多个 4D 资产能够无缝集成至 VR 环境并实现实时渲染。