从 SAM3D 到 Marble —— 为什么“splats”正成为 3D 内容的新通用语？

一、从“文件”到“点云”再到“splats”——3D 模型格式的进化

1. Mesh 时代
   .obj、.fbx、.gltf 把世界切成三角面，优点是管线成熟，缺点是 UV、拓扑、法线一个都不能错，动辄 GB 级的精度让人“望模兴叹”。
2. NeRF 时代
   神经辐射场用 MLP 把场景压缩进权重，视觉效果惊艳，却需要 CUDA 与专属 Shader，想塞进网页或 Quest 里？早期方案往往需要数十秒到数分钟。
3. Gaussian Splats 时代
   2023 年 SIGGRAPH 论文“3D Gaussian Splatting”横空出世：
   • 把场景拆成数百万个“椭球+透明度”——这就是 splat
   • 无神经网络推理，纯光栅化，WebGL 就能跑
   • 显存占用 < 200 MB，1080p 下 60 fps 不是梦

一句话：splats 把“NeRF 的品质”与“三角面的实时性”首次同时交给了开发者。

---

二、SAM3D & Marble：两条赛道，同一答案

• SAM3D 的定位是“研究级快速原型”：把 2D 分割模型 SAM 的掩码升到 3D，再转 splats，适合把玩单物体或室内小景。

  下图为SAM3D从图片中分割导出的3D模型的截图以及导出模型文件后在在线编辑器中的展现截图

  
  

• Marble 则是“空间智能”旗舰：多模态大模型先预测几何、再优化高斯参数，最后输出可扩展、可组合的开放世界。
  两条路径都指向同一结论——splats 已成为“生成式 3D”事实上的交付格式。

---

三、splats 技术拆解：为什么它又快又真？

打破认知：高斯泼溅不是"点云"，是智能渲染单元

提到Splats格式，很多人会先入为主地将其与点云混淆——毕竟两者都表现为离散元素构成的3D结构。但本质上，高斯泼溅是一种"智能渲染单元"的集合，每个Splat都承载着远超普通点云的数据价值。
具体来说，一个标准的Splat包含三组核心参数：基础几何信息（3D空间位置、椭球体缩放与旋转）、外观属性（RGB颜色、透明度、视角相关颜色变化系数）、以及优化辅助参数（不确定性权重、光照响应因子）。这些参数共同构成了一个半透明的"高斯椭球体"，数百万个这样的椭球体通过光栅化技术叠加，就能生成照片级的3D渲染效果。详细了解可参考这篇文章 https://zhuanlan.zhihu.com/p/680669616
与传统3D表示方法相比，它的革命性在于：既摆脱了多边形建模的繁琐，又解决了NeRF依赖神经网络实时计算的效率瓶颈。NeRF需要通过MLP网络逐光线预测颜色，而高斯泼溅直接通过预计算的Splat参数快速光栅化，相对 NeRF 推理渲染速度提升可达一个数量级。

效率革命：重建提速，渲染帧率翻倍

3D内容生产的核心痛点之一是"等待成本"。传统NeRF重建一个中等复杂度场景可能需要数小时，而基于高斯泼溅的方法能将这一时间大幅缩短。
对SAM3D而言，这意味着从2D分割图到可交互3D模型的生成链路可压缩至分钟级；Marble处理街景、室内等大规模场景时，也能避免开发者长时间等待。这种效率提升直接降低了3D内容生产的门槛。

细节保真：超越点云的纹理与光照表现

普通点云缺乏颜色连贯性和细节表现力，而Splats格式通过两个关键技术解决了这一问题：一是每个Splat的椭球体形态能更好贴合物体表面结构，比如用拉伸的Splat表现发丝、用扁平的Splat模拟墙面；二是引入外观嵌入（Appearance Embedding）技术，让Splat能根据光照条件自适应调整颜色，避免传统3D模型的"塑料感"。

由李飞飞联合创办的 World Labs 推出的 Marble在重建文物、精细建筑时，正是利用Splats格式的这一特性，还原壁画纹理、石材质感等细微特征，其渲染结果在PSNR等指标上已超越传统方法。

四、生态应用：SAM 3D与Marble如何整合3D高斯泼溅？

随着3D高斯泼溅技术的成熟，越来越多的工具开始支持这一技术，其中SAM 3D和Marble是最为典型的代表。

SAM 3D的集成方案

SAM 3D是一个AI驱动的3D重建平台，能够将单张2D照片转化为准确、全纹理的3D模型。其工作流程极为简单：
上传单张照片后，SAM 3D会自动检测物体，用户可选择特定物品进行重建，或让系统自动处理所有内容。随后，系统会分析图像并重建完整的3D几何与纹理，最终结果可导出为PLY格式。

SAM 3D包含两个专门针对不同场景的子模型：SAM3D Objects专注于通用物体与场景重建，能从单张自然图像中还原详细3D形状、纹理和空间布局。
SAM3D Body则专注于人体姿态与形体重建，即使面对遮挡、异常姿势或多人场景，也能精准输出3D骨骼与软组织形态。

Marble的平台化实现

Marble是由World Labs推出的“世界模型”平台，旨在帮助用户从文字、图片、视频或粗略3D布局生成完整、可编辑的3D世界。
Marble的核心优势在于其多模态输入能力，支持文本提示、单张/多张图片、视频、粗略3D布局输入，极大提升了创作的灵活性。
Marble生成的不仅是静态图像，而是可自由视角浏览、探索的3D世界。用户可将多个场景“组合”拼成更大世界，实现世界扩展与组合。
最重要的是，Marble支持将生成结果导出为标准3D资产（如碰撞器网格）或Gaussian splats，方便整合入传统游戏/影视/交互流程。

五、实践应用：3D高斯泼溅的用例与前景

3D高斯泼溅技术的应用前景广阔，几乎覆盖了所有需要高质量3D内容的领域。
在数字孪生领域，易知微EasyTwin数字孪生渲染引擎已将3D高斯泼溅作为核心模块进行产品化封装，支持无人机倾斜摄影、激光雷达以及NeRF-Studio中间格式一键转换。
在电子商务领域，3D高斯泼溅可以实现商品的三维展示，让消费者能够从任意角度查看商品细节，大大提升购物体验。
对于游戏开发，3D高斯泼溅能够快速将真实世界物体转换为游戏内的3D资产，大幅减少美术资源生产时间。
在AR/VR领域，3D高斯泼溅实现的实时高质量渲染，为沉浸式体验提供了技术基础。
虚拟试穿、运动分析、医疗康复等领域也能从这项技术中受益。