60、单张图像面部反照率图估计

单张图像面部反照率图估计

在计算机视觉领域，从单张二维强度图像中恢复三维表面形状是一个极具吸引力但又颇具挑战性的问题。本文介绍了一种从单张图像中估计面部反照率图的方法，该方法利用了一个捕捉表面法线方向变化的统计模型。

1. 背景与动机

从单张图像恢复三维表面形状的传统方法——从明暗恢复形状（Shape-from-shading），虽有心理学证据表明其在人类面部感知中发挥作用，且准确恢复面部形状能为面部识别提供光照和视角不变的描述，但由于浮雕歧义导致的局部凸凹不稳定问题，该方法在恢复真实三维面部形状方面效果不佳。例如，鼻子可能会内陷，脸颊会被夸大。因此，像光度立体法（Photometric stereo）等方法被证明更为有效。

为克服单视图从明暗恢复形状的问题，一些研究者采用了特定领域的约束。例如，Prados和Faugeras以及Castelan和Hancock利用奇异点的位置来强制恢复表面的凸性；Zhao和Chellappa引入了利用面部近似双边对称性的几何约束，用于校正光照变化，但恢复的表面质量不足以合成新的视角，且该对称约束仅适用于正面面部图像。Atick等人提出了基于面部表面低维参数化的统计从明暗恢复形状框架，使用主成分分析导出一组“特征头”来紧凑地捕捉三维面部形状，但拟合模型到图像的计算成本较高。

面部外观由多种复杂因素决定，包括三维形状、反照率图以及皮肤反射光的过程。其中，皮肤反射是一个复杂的过程，受次表面散射和皮肤下血流的强烈影响，反射模式是非朗伯体的。因此，许多研究致力于开发生成统计模型来学习外观变化模式，并用于合成面部外观。

2. 方法概述

本文的方法基于两个观察：一是面部反照率在面部大部分表面上相当恒定；二是面部形状可以由低维空间捕捉。我们选择使用一个捕捉表面法线方向变化的统计模型来建模面部形状。

2.1 统计表面法线模型

• 针图表示 ：“针图”将表面 $z(x, y)$ 描述为一组投影到视图平面上的局部表面法线 $n(x, y)$。对于训练集中的第 $k$ 张图像，像素 $(i, j)$ 处的单位表面法线为 $n_k(i, j) = (n_{x_k}(i, j), n_{y_k}(i, j), n_{z_k}(i, j))^T$。在位置 $(i, j)$ 处的平均表面法线方向为 $\hat{n}(i, j) = \frac{\bar{n}(i,j)}{|\bar{n}(i,j)|}$，其中 $\bar{n}(i, j) = \frac{1}{T} \sum_{k=1}^{T} n_k(i, j)$。
• 方位等距投影 ：为构建方位等距投影，我们在对应平均表面法线的位置构建单位球的切平面，并在该切平面上建立局部坐标系。在位置 $(i, j)$ 处，表面法线 $n_k(i, j)$ 映射到坐标向量 $v_k(i, j) = (x_k(i, j), y_k(i, j))^T$。变换方程如下：
• $x_k(i, j) = k’ \cos\theta_k(i, j) \sin[\varphi_k(i, j) - \hat{\varphi}(i, j)]$
• $y_k(i, j) = k’ [\cos \hat{\theta}(i, j) \sin \varphi_k(i, j) - \sin \hat{\theta}(i, j) \cos \theta_k(i, j) \cos[\varphi_k(i, j) - \hat{\varphi}(i, j)]]$
  其中 $\cos c = \sin \hat{\theta}(i, j) \sin \theta_k(i, j) + \cos \hat{\theta}(i, j) \cos\theta_k(i, j) \cos[\varphi_k(i, j) - \hat{\varphi}(i, j)]$ 且 $k’ = \frac{c}{\sin c}$。
  从切平面到单位球的逆变换方程为：
• $\theta_k(i, j) = \sin^{-1} [\cos c \sin \hat{\theta}(i, j) - \frac{1}{c}y_k(i, j) \sin c \cos \hat{\theta}(i, j)]$
• $\varphi_k(i, j) = \hat{\varphi}(i, j) + \tan^{-1} \psi(i, j)$
  其中
  $\psi(i, j) = \begin{cases}
  \frac{x_k(i,j) \sin c}{c \cos \hat{\theta}(i,j) \cos c - y_k(i,j) \sin \hat{\theta}(i,j) \sin c} & \text{if } \hat{\theta}(i, j) \neq \pm \frac{\pi}{2} \
  -\frac{x_k(i,j)}{y_k(i,j)} & \text{if } \hat{\theta}(i, j) = \frac{\pi}{2} \
  \frac{x_k(i,j)}{y_k(i,j)} & \text{if } \hat{\theta}(i, j) = -\frac{\pi}{2}
  \end{cases}$
  且 $c = \sqrt{x_k(i, j)^2 + y_k(i, j)^2}$。
• 数据矩阵与协方差矩阵 ：对于每个图像位置，将来自 $T$ 个不同训练图像的变换后的表面法线连接并堆叠成两个长度为 $T$ 的长向量 $V_x(i, j)$ 和 $V_y(i, j)$。这些长向量按光栅扫描顺序排列，构成 $T \times (2MN)$ 数据矩阵 $D$。长向量的协方差矩阵为 $(2MN) \times (2MN)$ 矩阵 $L = \frac{1}{T} D^T D$。
• 特征向量计算 ：我们使用Sirovich的数值有效方法计算 $L$ 的特征向量。首先构建矩阵 $\hat{L} = \frac{1}{K} D D^T$，$\hat{L}$ 的特征向量 $\hat{e}_i$ 可用于通过 $e_i = D^T\hat{e}_i$ 找到 $L$ 的特征向量 $e_i$。
• 变形与参数估计 ：我们在由前 $K$ 个主特征向量组成的 $2MN \times K$ 矩阵 $P = (e_1|e_2| \cdots |e_K)$ 定义的方向上变形方位等距点投影。如果 $b = (b_1, b_2, \cdots, b_K)^T$ 是长度为 $K$ 的参数向量，由于方位等距投影得到的坐标的平均向量为零，变形后的投影坐标向量为 $v_b = Pb$。对于观察到的表面法线场进行方位等距投影得到的坐标向量 $v_o$，我们寻求最小化平方误差 $E(b) = (v_o - P^T b)^T (v_o - P^T b)$ 的参数向量 $b$，解为 $b^ = P^T v_o$。模型允许的最佳拟合表面法线场为 $v^ _o = P P^T v_o$。变形后的方位等距投影坐标向量可以使用上述逆方位等距投影方程转换回单位球上的表面法线。

2.2 模型拟合到图像

我们利用模型提供的统计约束来拟合模型到强度图像，以解决从明暗恢复形状过程中的歧义。这是一个迭代过程，具体步骤如下：
1. 初始化表面法线场 $n$。
2. 估计场 $n$ 中的每个法线进行方位等距投影，得到变换后的坐标向量 $v$。
3. 最佳拟合模型参数向量为 $b = P^T v$。
4. 对应最佳拟合参数的变换后坐标向量为 $v’ = P P^T v$。
5. 使用逆方位等距投影从 $v’$ 找到 $n’$。
6. 通过将 $n’$ 中的每个法线旋转回其最接近的锥上位置找到 $n’‘$。
7. 测试收敛性。如果 $\sum_{i,j} \cos^{-1} [n(i, j) \cdot n’‘(i, j)] < \epsilon$，其中 $\epsilon$ 是预定阈值，则停止并返回 $b$ 作为估计的模型参数，$n’‘$ 作为恢复的针图。
8. 令 $n = n’‘$ 并返回步骤2。

以下是该过程的mermaid流程图：

graph TD;
    A[初始化表面法线场n] --> B[进行方位等距投影得到v];
    B --> C[计算最佳拟合参数向量b = PT v];
    C --> D[计算v' = PPT v];
    D --> E[使用逆投影找到n'];
    E --> F[旋转n'到锥上位置得到n''];
    F --> G{是否收敛};
    G -- 是 --> H[返回b和n''];
    G -- 否 --> I[n = n''];
    I --> B;

3. 反照率估计

拟合过程通常在20到25次迭代内收敛。模型提供的约束足够强，使得恒定反照率假设不会过度干扰拟合过程。最终模型空间中的最佳拟合针图 $n’$ 满足图像辐照度方程，除了实际反照率变化的区域。通过观察 $n’$ 和 $n’‘$ 之间的角度差异可以发现，变化几乎完全是由于眼睛、眉毛和嘴唇处的反照率变化引起的，除这些区域外，表面法线方向变化很小。因此，我们假设 $n’$ 代表真实的底层形状。

我们可以使用观察到的和重建的图像亮度之间的差异来估计反照率图。如果使用朗伯反射模型对最终最佳拟合表面法线场进行重新照明，则预测的图像亮度为 $I(i, j) = \rho(i, j)[s \cdot n’(i, j)]$。由于 $I$、$s$ 和 $n’$ 都是已知的，我们可以使用以下公式估计每个像素的反照率：
$\rho(i, j) = \frac{I(i, j)}{s \cdot n’(i, j)}$

该技术不对反照率进行分段恒定的约束，而是逐像素进行估计。最终最佳拟合针图和估计的反照率图的组合允许在新的光照下进行接近照片真实感的重新照明，并且该过程在不同光照下表现出相当的稳定性。

4. 实验

4.1 模型训练

我们使用从深度数据中提取的表面法线场构建了一个“地面真值”模型，以展示该模型在相对“干净”的数据上训练时紧凑捕捉面部形状的实用性。我们使用了3DFS数据集，该数据集包含100个中性表情受试者的高分辨率扫描，扫描使用CyberwareTM 3030PS激光扫描仪收集，并使用Blanz和Vetter的光流对应算法进行预对齐。表面法线场通过将3个表面法线分量正交投影到与对齐面部平行的视图平面上提取。

4.2 主模式分析

我们检查了从面部深度图像导出的表面法线场训练的模型的主要变化模式。前5个模式明显捕捉到了不同的面部特征：
| 模式 | 特征描述 |
| ---- | ---- |
| 模式1 | 编码头部大小，似乎与性别相关，负方向上的宽下巴、眉毛和鼻子是男性特征 |
| 模式2 | 编码尖下巴和圆下巴之间的差异 |
| 模式3 | 编码长窄脸和短宽脸之间的差异 |
| 模式4 | - |
| 模式5 | - |

4.3 反照率估计实验

我们将上述反照率估计方法应用于来自Yale B数据库的真实世界面部图像。实验结果表明，该过程在可变光照下具有稳定性。例如，对于一个因面部毛发导致反照率变化较大的受试者，当光源沿水平轴移动以与观察方向成 $-50^{\circ}$、$-25^{\circ}$、$0^{\circ}$、$25^{\circ}$ 和 $50^{\circ}$ 角时，估计的反照率图相对稳定，并且可以合成在新光照下的图像。

通过以上方法和实验，我们展示了从单张图像估计面部反照率图的可行性和有效性，该方法在不同光照条件下具有较好的稳定性，为基于图像的面部渲染和识别提供了有价值的信息。

单张图像面部反照率图估计

5. 技术优势与应用前景

5.1 技术优势

• 稳定性高 ：该方法在不同光照条件下表现出显著的稳定性。如在对Yale B数据库中的真实世界面部图像进行实验时，即使光源位置发生变化，估计的反照率图依然相对稳定。这是因为模型通过捕捉表面法线方向的变化，能够在一定程度上消除光照变化对反照率估计的影响。
• 灵活性强 ：不对反照率进行分段恒定的约束，而是逐像素进行估计。这种方式能够更精确地捕捉面部反照率的细微变化，例如面部毛发、皮肤色素沉着等导致的反照率差异。
• 计算效率 ：在构建统计模型时，使用了Sirovich的数值有效方法计算特征向量，减少了计算量。同时，模型拟合过程通常在20到25次迭代内收敛，提高了整体的计算效率。

5.2 应用前景

• 面部渲染 ：最终最佳拟合针图和估计的反照率图的组合允许在新的光照下进行接近照片真实感的重新照明。这对于电影制作、游戏开发等领域具有重要意义，可以为虚拟角色提供更逼真的光照效果。
• 面部识别 ：准确的反照率图可以提供光照和视角不变的面部描述，有助于提高面部识别系统的准确性和鲁棒性。在不同光照条件下，反照率图能够保持相对稳定，减少了光照变化对识别结果的影响。
• 医学应用 ：在医学领域，面部反照率图的估计可以用于皮肤疾病的诊断和监测。例如，某些皮肤疾病可能会导致皮肤反照率的变化，通过分析反照率图可以早期发现这些变化。

6. 与其他方法的比较

为了更好地理解本文方法的优势，我们将其与其他从单张图像估计面部反照率的方法进行比较，如下表所示：
| 方法 | 优点 | 缺点 |
| ---- | ---- | ---- |
| 本文方法 | 稳定性高、灵活性强、计算效率高，能逐像素估计反照率，适用于不同光照条件 | - |
| 基于反射率变化假设的方法 | 假设反射率变化导致的图像梯度比阴影效果强 | 结果质量不足以进行真实的基于图像的渲染，无法从估计的反照率图中获取有用信息 |
| 假设面部反照率分段恒定的方法 | 计算相对简单 | 不能准确捕捉面部反照率的细微变化，不适用于面部反照率变化较大的情况 |

7. 总结与展望

本文提出了一种从单张图像估计面部反照率图的方法，该方法基于捕捉表面法线方向变化的统计模型。通过构建统计模型、将模型拟合到图像以及利用观察和重建图像亮度的差异来估计反照率，我们展示了该方法在不同光照条件下的稳定性和有效性。

未来的研究可以从以下几个方面展开：
- 模型改进 ：进一步优化统计模型，提高其对复杂面部形状和反照率变化的捕捉能力。例如，可以引入更多的训练数据，或者采用更先进的机器学习算法来训练模型。
- 多模态融合 ：结合其他模态数据，如深度信息、纹理信息等，提高反照率估计的准确性。多模态数据可以提供更丰富的信息，有助于更全面地理解面部特征。
- 实时应用 ：将该方法应用于实时场景，如视频监控、增强现实等。这需要进一步提高算法的计算效率，以满足实时处理的要求。

以下是整个方法的总结mermaid流程图：

graph LR;
    A[构建统计模型] --> B[模型拟合到图像];
    B --> C[反照率估计];
    C --> D[实验验证];
    D --> E[技术优势与应用前景分析];
    E --> F[与其他方法比较];
    F --> G[总结与展望];

通过以上的研究和分析，我们为从单张图像估计面部反照率图提供了一种有效的方法，该方法在计算机视觉领域具有广阔的应用前景。随着技术的不断发展和完善，相信该方法将在更多领域发挥重要作用。