三维重建综述：从多视角几何到 NeRF 与 3DGS 的演进

点击下方卡片，关注“3D视觉之心”公众号

第一时间获取3D视觉干货

三维重建综述：从多视角几何到 NeRF 与 3DGS 的演进

A Survey of 3D Reconstruction: The Evolution from Multi-View Geometry to NeRF and 3DGS

---

摘要

三维重建是计算机视觉与图形学的交叉核心，也是虚拟现实、增强现实、自动驾驶、数字孪生等前沿应用的“数字底座”。近年来，以神经辐射场（NeRF）和三维高斯抛雪球（3DGS）为代表的新视角合成技术，使重建质量、速度、动态适应性同时跃升。本文系统梳理：

1. 传统多视角几何（SfM→MVS）的原理、流程与瓶颈

2. NeRF 隐式表达在质量、效率、稀疏视角、动态场景上的四年迭代

3. 3DGS 显式高斯原语的实时渲染、动态重建、编辑优化

4. 跨方法、跨指标的多维对比

5. 未来挑战与可能突破方向
   为数字孪生、智慧城市、元宇宙等领域的研究者提供一张“技术演进全景图”。

---

1 引言：为什么三维重建再次成为“风口”？

应用	对重建提出的新需求
城市级数字孪生	公里级范围、厘米级精度、分钟级更新
自动驾驶仿真	动态交通流、实时语义、可编辑车道
AR/VR 社交	轻终端、>90 FPS、照片级真实感
工业数字工厂	弱纹理、反光、复杂拓扑完整建模

传统“先几何后纹理”的管线已无法满足上述需求；NeRF 与 3DGS 通过“可微渲染”把“几何-纹理-光照”统一学习，打开了从“离线静态”到“实时动态”的窗口。

---

2 传统多视角几何重建（SfM→MVS）

2.1 完整管线图示

2.2 理论基石

• 对极几何：x'^T F x = 0

• 三角测量：X = argmin(∑‖π(P_i,X)−x_i‖^2)

• 束调整：min ∑‖x−π(P,X)‖^2 + λ‖P−P_0‖^2

2.3 成熟工具链

工具	特点
COLMAP	学术最常用，CPU 优化
OpenMVG	模块化，适合算法研究
Agisoft Metashape	商业级，支持无人机影像
ContextCapture	Bentley 城市级解决方案

2.4 五大痛点

1. 数据饥渴：需>70% 航向重叠+60% 旁向重叠

2. 弱纹理空洞：玻璃、白墙、水面、天空

3. 光照敏感：阴阳面色差→纹理接缝明显

4. 动态失效：行人、车辆→重影/鬼影

5. 编辑困难：改一棵树要重跑全流程，迭代成本∞

---

3 NeRF：隐式神经辐射场（2020-2024）

3.1 基础框架

把场景建模为连续 5D 函数：

通过体渲染积分得到像素颜色：

3.2 质量提升路线（2021-2023）

方法	关键创新	解决的问题	代价
Mip-NeRF	锥体追踪+集成位置编码	锯齿、混叠	训练×2
NeRF-W	外观嵌入+可变光照	天气/曝光变化	推理需调 latent
NeRF++	反向球面背景+双层场景	远景退化	参数量+30%
NeRFLiX	退化模拟器+视角混合	伪影、噪声	需合成数据预训练
BAD-NeRF	运动模糊物理模型	模糊输入鲁棒	需已知模糊核
UHDNeRF	隐式体+稀疏点云高频	8K 超高清	显存↑

3.3 效率优化路线（2022-2024）

方法	加速核心	训练时间	渲染 FPS	显存
InstantNGP	多分辨率哈希编码	5 s–1 min	5	1.2 GB
TensoRF	CP 分解+低秩近似	10 min	10	300 MB
NSVF	稀疏体素八叉树	30 min	15	500 MB
Zip-NeRF	抗锯齿网格采样	20 min	20	400 MB
Lightning NeRF	点云先验初始化	8 min	10	600 MB

采样方式对比

3.4 稀疏视角合成（<10 张图）

方法	正则/先验	DTU 3-view PSNR↑	备注
FreeNeRF	频率正则+遮挡正则	19.92	零额外开销
FlipNeRF	反射射线过滤	19.55	减少漂浮物
MixNeRF	混合密度+深度估计	18.95	提升几何
HG3-NeRF	几何-语义-光度分层	19.37	需语义标签

3.5 动态场景（视频输入）

方法	表征方式	关键创新	D-NeRF PSNR
Deformable-NeRF	变形场 Ψ(x,t)	正则化扭曲	29.8
NSFF	场景流+静态/动态分解	可解释运动	31.5
DNeRF	时间编码 γ(t)	无需额外 mask	29.6
NeRFPlayer	静态+变形+新区域	流式播放	30.2
Tensor4D	4D 张量分解	内存↓50%	31.0

---

4 3DGS：三维高斯溅射（2023-2025）

4.1 基础公式

将场景表示为 3D 高斯集合：

投影到图像平面后按深度排序，做 α-混合：

4.2 渲染质量优化

方法	技术要点	结果
Mip-Splatting	3D/2D Mip 滤波	抗锯齿，LPIPS↓10%
Scaffold-GS	锚点生长-剪枝	内存↓79%，覆盖↑
GaussianPro	渐进传播+深度一致	低纹理 PSNR+1.7 dB
GSDF	高斯+SDF 双分支	几何误差↓30%
SuperGS	粗到细+梯度引导分裂	4K 超分实时

表4 MipNeRF360 对比

方法	PSNR↑	SSIM↑	LPIPS↓	FPS↑	内存(MB)↓
3DGS	27.21	0.815	0.214	134	734
GSDF	29.38	0.865	0.185	–	–
Scaffold-GS	28.84	0.848	0.220	102	156
SuperGS	29.44	0.865	0.130	47	123

4.3 效率再升级

方法	压缩/加速	结果
LightGaussian	蒸馏+量化+伪视角	15× 压缩，200 FPS
CompGS	K-means+游程编码	存储↓80%
EAGLES	轻量化编码	显存↓70%
SuGaR	表面网格提取	编辑友好，Poisson 重建
Distwar	寄存器级并行	GPU 原子操作↓60%

4.4 稀疏视角重建（<10 张图）

方法	先验/正则	实时性	备注
FSGS	单目深度+邻域上采样	200 FPS	需预训练 DepthNet
SparseGS	扩散模型补全	实时 360°	生成伪标签
LM-Gaussian	大模型视觉先验	迭代细化	视频扩散
MCGS	多视角一致性修剪	内存↓50%	渐进剪枝

4.5 动态重建（视频）

方法	表征	关键创新	D-NeRF PSNR
Deformable 3D-GS	变形场	时序正则	39.51
4D-GS	神经体素+MLP	分解 4D 特征	34.05
Gaussian-Flow	双域变形	显式运动向量	34.27
DN-4DGS	去噪网络	时空聚合	25.59(HyperNeRF)

---

5 横向对比：一张表读懂三代技术

指标	SfM/MVS	NeRF	3DGS
核心表征	点云+Mesh	隐式 σ(x)+c(x)	显式高斯集合
几何精度	★★★★☆	★★★☆☆	★★★☆☆
照片真实感	★★☆☆☆	★★★★★	★★★★☆
训练时间	小时	小时-天	分钟
渲染 FPS	<1	<1	50-300
动态扩展	×	需变形场	√ 时序高斯
编辑性	极难	隐式不可见	移动/删除/增改
硬件门槛	CPU 即可	8× 高端 GPU	1× 消费 GPU
代表落地	测绘、文保	影视、直播	AR/VR、自动驾驶

---

6 未来 5 年技术雷达

1. 混合表征
   NeRF+3DGS+SDF 统一框架：光滑表面用 SDF，高频细节用高斯，空洞用 NeRF 补全

2. 端侧实时
   INT4 量化+TensorRT/ONNX → 手机 30 FPS 重建

3. 生成式重建
   Diffusion 先验+3DGS：单图/文本 → 可驱动 3D 资产

4. 物理-语义联合
   引入光照模型、重力、语义标签，一键可编辑城市场景

5. 多模态融合
   LiDAR 深度、事件相机、IMU、Thermal 同步，SfM-free 鲁棒重建

---

7 结论：一句话总结

• 传统法：精度高、但“慢、死板、难编辑”

• NeRF：画质天花板、但“训练慢、黑盒、难动态”

• 3DGS：质量-效率-动态-编辑四边形战士，正成为实时三维重建的“默认选项”

下一步，让每部手机、每台车、每副 AR 眼镜都拥有一把“实时数字化的瑞士军刀”——三维重建将真正走向“人人可用、处处实时”的普适计算时代。

【3D视觉之心】技术交流群

3D视觉之心是面向3D视觉感知方向相关的交流社区，由业内顶尖的3D视觉团队创办！聚焦三维重建、Nerf、点云处理、视觉SLAM、激光SLAM、多传感器标定、多传感器融合、深度估计、摄影几何、求职交流等方向。扫码添加小助理微信邀请入群，备注：学校/公司+方向+昵称（快速入群方式）

扫码添加小助理进群

【具身智能之心】知识星球

具身智能之心知识星球是国内首个具身智能开发者社区，也是最专业最大的交流平台，近1500人。主要关注具身智能相关的数据集、开源项目、具身仿真平台、VLA、VLN、Diffusion Policy、强化学习、具身智能感知定位、机器臂抓取、姿态估计、策略学习、轮式+机械臂、双足机器人、四足机器人、大模型部署、端到端、规划控制等方向。星球内部为大家汇总了近40+开源项目、近60+具身智能相关数据集、行业主流具身仿真平台、各类学习路线等，涉及当前具身所有主流方向。

扫码加入星球，享受以下专有服务：

1. 第一时间掌握具身智能相关的学术进展、工业落地应用；
2. 和行业大佬一起交流工作与求职相关的问题；
3. 优良的学习交流环境，能结识更多同行业的伙伴；
4. 具身智能相关工作岗位推荐，第一时间对接企业；
5. 行业机会挖掘，投资与项目对接；