9、非线性3D人脸可变形模型的学习与应用

非线性3D人脸可变形模型的学习与应用

一、损失函数与监督学习

在构建模型时，我们使用了如下损失函数：
[L_0 = L_S + \lambda_T L_T + \lambda_m L_m + L_{lan} + L_{reg}]
其中：(L_S = ||S - \hat{S}||_2^2)，(L_T = ||T - \hat{T}||_1)，(L_m = ||m - \hat{m}||_2^2)。

原本可以通过最小二乘法优化并假设恒定反照率，为SH系数 (L) 和反照率 (A) 提供伪真实值，但这种估计对于存在遮挡区域的野外图像并不可靠。而且，通过提出的正则化方法，模型能够自行探索这些组件的合理解决方案。因此，为了简化流程，我们决定不对 (L) 和 (A) 进行监督。

由于伪真实值的存在，使用 (L_0) 可能会使模型学习模仿线性模型。所以，在 (L_0) 收敛后，我们切换到式4.12的损失函数。值得注意的是，在训练中，仅使用了估计的 (m)、(S)、(T) 和关键点作为监督，因此我们的学习被认为是弱监督学习。

二、提高模型保真度

（一）带有代理和残差的非线性3DMM

强正则化对于确保学习模型的合理性至关重要，但它也会阻碍模型恢复形状或反照率的高级细节，从而难以实现学习高保真3DMM模型的最终目标。

为此，我们提出学习额外的代理形状 (\tilde{S}) 和代理反照率 (\tilde{A})，并将所有正则化应用于这些代理：
[L_{reg}^* = L_{sym}(\tilde{A}) + \lambda_{con} L_{con}(\tilde{A}) + \