手把手带你复现3D Gaussian Splatting：从理论到代码实战

关注

VIP免费原创最新推荐文章于 2026-08-27 09:24:16 发布 516 阅读 AI 写同款· GEO 优化 ›

3D Gaussian Splatting：用于实时的辐射场渲染 3D Gaussian Splatting：用于实时的辐射场渲染 3d gaussian splatting for real-time radiance field rendering 阅读详情

1. 开篇：从“魔法橡皮泥”到代码，理解3D高斯泼溅

大家好，我是老张，在图形学和AI领域摸爬滚打了十几年。最近，3D Gaussian Splatting（3DGS）这技术火得不行，它生成的3D场景那叫一个又快又清晰，效果直逼顶级的NeRF，但渲染速度却能跑到实时级别，简直是降维打击。网上原理文章不少，但很多朋友看完还是觉得云里雾里，不知道怎么把论文里的公式变成自己电脑上能跑起来的代码。

今天，咱们不搞那些虚头巴脑的理论堆砌，我就手把手带你，从一个空的代码文件开始，一步步复现一个简化版的3DGS核心流程。你可以把它想象成玩一种高级的“魔法橡皮泥”：我们有一堆初始的“橡皮泥小球”（稀疏点云），通过不断地观察照片（2D图像），调整每个小球的位置、形状、颜色和透明度，最终让这一大堆小球从任何一个角度看过去，都像一张真实的照片。我们的目标，就是亲手写出这个“捏橡皮泥”的魔法程序。

我会把每个核心步骤拆开揉碎，配上可以直接运行的Python代码片段（基于PyTorch），并用最生活化的例子帮你理解。只要你有点Python和深度学习的基础，跟着走下来，不仅能彻底明白3DGS是怎么工作的，还能获得一个属于你自己的、可以继续魔改的3D重建项目起点。准备好了吗？我们开始吧。

2. 环境搭建与数据准备：万事开头“细”

复现任何算法，第一步就是把场子搭好，把“食材”备齐。这里咱们追求的是干净、可复现，避免后期各种依赖报错搞得人头大。

2.1 创建专属环境并安装核心依赖

我强烈建议使用conda或venv创建一个独立的环境，这是保持项目纯洁性的好习惯。这里我用conda举例：

# 创建一个新的Python环境，命名为3dgs
conda create -n 3dgs python=3.9
conda activate 3dgs

# 安装PyTorch（请根据你的CUDA版本去官网选择对应命令）
# 例如，对于CUDA 11.8
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

# 安装其他必需的科学计算和图像处理库
pip install numpy opencv-python pillow scipy
pip install matplotlib plotly  # 用于可视化，非必须但强烈推荐
pip install tqdm  # 用于显示进度条，让等待更友好

为什么是Python 3.9？因为它是一个在AI社区非常稳定且兼容性广的版本。PyTorch是我们的核心计算引擎，所有关于高斯参数（位置、形状、颜色）的优化都将通过它来实现自动微分。其他的库，比如OpenCV和Pillow，用来读写和处理我们的训练图片。

2.2 获取并理解输入数据：COLMAP的输出

3DGS的“种子”来自于多视图立体（MVS）算法生成的稀疏点云。最常用的工具就是COLMAP。你不用慌，我们不需要从头跑一遍COLMAP，可以直接使用官方开源项目里提供的数据集，比如“Mip-NeRF 360”数据集中的“bicycle”场景。

但更重要的是，我们要理解COLMAP输出了什么，因为这是我们代码的输入。假设你已经有了一个场景的COLMAP输出（通常放在一个叫sparse/0的文件夹里），里面最关键的两个文件是：

points3D.bin: 存储所有3D点云的位置（XYZ坐标）和颜色（RGB）。
cameras.bin 和 images.bin: 存储每张输入图片对应的相机参数（内参：焦距、主点；外参：旋转矩阵R和平移向量t）。

我写了一个简单的数据加载器，帮你理解这个结构：

import numpy as np
import struct
from PIL import Image
import os

def read_colmap_bin_points(bin_path):
    """读取COLMAP的points3D.bin文件"""
    points = []
    colors = []
    with open(bin_path, "rb") as f:
        num_points = struct.unpack("Q", f.read(8))[0]
        for _ in range(num_points):
            # 点ID (8字节), XYZ (3*8字节), RGB (3*8字节), 误差 (8字节), 跟踪长度 (8字节)
            pid = struct.unpack("Q", f.read(8))[0]
            xyz = struct.unpack("ddd", f.read(24))
            rgb = struct.unpack("BBB", f.read(3))
            _ = f.read(16)  # 跳过误差和跟踪长度
            points.append(xyz)
            colors.append(rgb)
    return np.array(points), np.array(colors) / 255.0  # 颜色归一化到[0,1]

# 假设你的数据路径
data_dir = "./data/bicycle/sparse/0"
points_3d, point_colors = read_colmap_bin_points(os.path.join(data_dir, "points3D.bin"))
print(f"加载了 {len(points_3d)} 个初始3D点")
print(f"第一个点的位置: {points_3d[0]}, 颜色: {point_colors[0]}")

这段代码帮你把初始的“橡皮泥小球”的位置和初始颜色加载了进来。这些点通常很稀疏，可能只有几万个，远不足以构成一个细腻的3D模型，但它们为3DGS提供了绝佳的初始化起点。如果没有COLMAP数据，用随机点云初始化也行，但就像在黑暗中摸索，收敛会慢很多。

3. 核心概念代码化：定义我们的“高斯橡皮泥”

现在，我们来到了最核心的部分：如何用代码表示一个“3D高斯椭球”。别被“高斯”和“椭球”吓到，其实我们可以用几个直观的参数来定义它。

3.1 高斯参数：位置、形状与颜色

一个3D高斯函数，完全由以下参数决定：

均值 (μ): 就是椭球中心点的3D坐标 (x, y, z)。这个好理解，就是点的位置。
协方差矩阵 (Σ): 这决定了椭球的形状（是胖是瘦）和方向（朝哪边旋转）。在3DGS中，他们用了一个巧妙的表示法：用一个缩放向量 s (3维) 和一个旋转四元数 q (4维) 来构造协方差矩阵。这样更易于优化，且能保证矩阵的正定性。
不透明度 (α): 一个0到1之间的标量，控制这个点是完全透明(0)还是完全不透明(1)。
颜色