论文解读（全头皮重建方向）：3DCMM

最新推荐文章于 2025-03-08 23:32:06 发布

原创最新推荐文章于 2025-03-08 23:32:06 发布 · 1.3k 阅读

25 ·

CC 4.0 BY-SA版权

文章标签：

#3d #3D人头补全

从面部到完整头部：3DCMM 的技术原理解析

在这里插入图片描述

引言

在计算机图形学和人体工学领域，3D 头部模型的需求日益增加。无论是虚拟化身的创建还是头盔的个性化设计，仅有面部模型往往不足以满足要求，完整的头部几何（包括头皮）才是关键。传统的 3D 可变形模型（3DMM）多集中于面部重建，头皮区域因数据稀缺和技术限制常被忽略。2022 年发表于 VRCAI’22 的论文《3DCMM: 3D Comprehensive Morphable Models for Accurate Head Completion》提出了一种新方法，利用 2528 个真实头部扫描数据，构建了 3D 综合可变形模型（3DCMM），并实现从 2D 面部图像或 3D 扫描到完整头部的重建。

本文将详细解析 3DCMM 的技术原理，重点放在其数学基础和推导过程上，力求清晰且严谨。

背景

现有的 3DMM（如 Basel Face Model、FaceScape）擅长面部细节的重建，但对头皮区域的支持有限。少数头部模型（如 FLAME、LYHM）虽然尝试覆盖全头，但受限于样本数量（数百至一千多）、分辨率（顶点数较低）或种族单一性（多为白人数据），难以满足高精度需求。此外，头皮数据采集因头发遮挡而困难重重。

论文的目标是从面部输入（2D 图像或 3D 扫描）生成完整头部，方法是先重建面部，再预测头皮。为此，作者引入了 3DCMM，分成面部模型（3DMFM）和头皮模型（3DMSM），并用大规模真实数据驱动其构建和应用。

核心原理

1. 数据基础

3DCMM 的基础是 2528 个中国人群的 3D 头部扫描数据，涵盖年龄 3-84 岁，包括成人（1763 人）和儿童（765 人）。这些数据使用高精度扫描仪（如 Artec Eva，精度 0.1 毫米）采集，并通过非刚性迭代最近点算法（NICP）对齐到统一模板，确保顶点对应一致。

2. 主成分分析（PCA）构建 3DCMM

PCA 的基本过程

每个头部扫描是一个高维向量，例如面部模型有 53,215 个顶点（159,645 维，x, y, z 坐标），直接处理这些数据计算量巨大。PCA 通过降维提取主要形状变化模式，将头部表示为参数化模型。

数据矩阵与中心化
- 设数据矩阵 $\in \mathbb{R}^{N \times D}$ ， $N = 2528$ （样本数）， $D = 159, 645$ （维度）。
- 计算平均形状：
  $\overline{S} = \frac{1}{N} \sum_{i=1}^N X_i$
  其中 $X_i$ 是第 $i$ 个头部的顶点向量。
- 中心化数据：
  $X_{\text{centered}} = X - \mathbf{1} \overline{S}^T$
  $1\mathbf{1}$ 是全 1 向量， $XcenteredX_{\text{centered}}$ 表示每个样本的偏差。
协方差矩阵
- 计算协方差矩阵：
  $\frac{1}{N-1} X_{\text{centered}}^T X_{\text{centered}}$
  $\in \mathbb{R}^{D \times D}$ ，是一个对称矩阵，反映顶点坐标间的相关性。
- 由于 $D$ 极大（159,645），直接计算 $C$ 成本高昂。实际中，可用奇异值分解（SVD）优化：
  - 对 $XcenteredX_{\text{centered}}$ 进行 SVD：
    $X_{\text{centered}} = U \Sigma V^T$
    - $\in \mathbb{R}^{N \times N}$ ， $Σ∈RN×D\Sigma \in \mathbb{R}^{N \times D}$ ， $\in \mathbb{R}^{D \times D}$ 。
    - $V$ 的列是主成分， $Σ2/(N−1)\Sigma^2 / (N-1)$ 对应特征值。
  - 协方差矩阵可表示为：
    $\frac{1}{N-1} V \Sigma^2 V^T$
特征分解与主成分
- 对 $C$ 进行特征分解（或直接用 SVD 结果）：
  $\Lambda V^T$
  - $Λ=diag(λ1,λ2,…,λD)\Lambda = \text{diag}(\lambda_1, \lambda_2, \ldots, \lambda_D)$ ， $λi\lambda_i$ 是特征值，按降序排列。
  - $[v_1, v_2, \ldots, v_D]$ ， $v_i$ 是主成分向量。
- 取前 $m$ 个主成分（论文中 $m = 220$ ，解释 98% 方差），组成矩阵 $[v_1, v_2, \ldots, v_m]$ 。
形状表示
- 每个头部可表示为：
  $\overline{S} + B \alpha$
  - $α∈Rm\alpha \in \mathbb{R}^m$ 是系数向量， $\in \mathbb{R}^{D \times m}$ 。
- 系数计算：
  $\alpha = B^T (S - \overline{S})$
  因为 $B$ 的列正交（ $B^T B = I$ ），投影直接得出 $α\alpha$ 。

3DCMM 的子模型

3DMFM（面部）：顶点数 53,215， $D_f = 159,645$ ：
$S_f = \overline{S_f} + B_{fshp} \alpha_f$
3DMSM（头皮）：顶点数 24,729， $D_s = 74,187$ ：
$S_s = \overline{S_s} + B_{sshp} \alpha_s$

3. 重建流程

步骤 1：面部重建

输入：2D 图像或 3D 扫描。
方法：
- 2D 图像通过 CNN（如 Deep3DFace）预测 $αf\alpha_f$ 。
- 3D 扫描通过 PointNet 编码为 $αf\alpha_f$ 。
输出： $S_f$ 。

步骤 2：头皮预测与合并

转换矩阵计算
- 目标：从 $αf\alpha_f$ 预测 $αs\alpha_s$ 。
- 数据：2528 对面部-头皮系数对，记为 $Mf∈Rmf×NM_f \in \mathbb{R}^{m_f \times N}$ （面部系数矩阵， $m_f = 220$ ）， $Ms∈Rms×NM_s \in \mathbb{R}^{m_s \times N}$ （头皮系数矩阵， $m_s = 220$ ）。
- 多项式回归：
  - 扩展 $M_f$ 为 $[Mf,Mf2,…,Mfn][M_f, M_f^2, \ldots, M_f^n]$ ，维度变为 $(mf⋅n)×N(m_f \cdot n) \times N$ 。
  - 求转换矩阵 $C_{f,s}$ ：
    $C_{f,s} = M_s M_f^T (M_f M_f^T)^{-1}$
    - $MfMfT∈Rmf⋅n×mf⋅nM_f M_f^T \in \mathbb{R}^{m_f \cdot n \times m_f \cdot n}$ 是 Gram 矩阵，若不可逆，可加正则化项 $ϵI\epsilon I$ ：
      $C_{f,s} = M_s M_f^T (M_f M_f^T + \epsilon I)^{-1}$
    - 论文实验表明 $n = 1$ （线性回归）最佳。
- 预测头皮：
  $\alpha_s = C_{f,s} [\alpha_f, \alpha_f^2, \ldots, \alpha_f^n]$
  $S_s = \overline{S_s} + B_{sshp} \alpha_s$
合并
- 使用权重分布图（鼻尖为坐标原点）平滑过渡：
  $S_{\text{med}}^i = (1 - W^i) S_s^i + W^i \sum_{k=1}^3 w^{i,k} S_f^{i,k}$
  - $W^i$ 为顶点权重， $w^{i,k}$ 为重心坐标权重。