子燕若水的博客

光度损失是指用网络预测的 3D 人脸渲染出一个合成图像，然后计算它和输入图像之间的像素差异。这个损失函数可以让网络学习到如何使合成图像和输入图像尽可能相似，从而提高重建的质量。为了解决这些问题，这一节提出了一种鲁棒的光度损失函数，它有两个特点：1) 它使用了一个 Huber 损失函数，而不是一个 L2 损失函数，来衡量像素差异。Huber 损失函数是一种平滑的绝对值函数，它对于较小的误差使用平方项，对于较大的误差使用线性项。肤色掩码是一个二值图像，它表示了输入图像中哪些区域是人脸肤色，哪些区域不是。

当一个形状为（N, C, H_in, W_in）的输入张量通过这个AdaptiveAvgPool2d层时，它计算每个（H_in, W_in）子区域的平均值并产生一个形状为（N, C, H_out, W_out）=（N, C, 1, 1）的输出张量。在这个例子中，创建了一个输出大小为（1, 1）的AdaptiveAvgPool2d层。当一个形状为(64, 512, 4, 4)的输入张量通过该层时，它计算每个(4, 4)子区域的平均值并产生一个形状为(64 ,512 ,1 ,1)的输出张量。

这些梯度分布在各自的(2 ,2)输入子区域，子区域的每个元素得到的梯度等于其对应的输出元素的梯度除以(2 * 2) = 4。因此，x.grad中的元素的值为[1/4 ,1/4 ,1/4 ,1/4]。一个形状为(1 ,1 ,4 ,4)且require_grad=True的输入张量x通过该层，产生一个形状为(1 ,1 ,2 ,2)的输出张量y。在反向传播过程中，损失相对于x的梯度是通过将损失相对于y的梯度分布在用于计算y的平均值的(2,2)输入子区域来计算的。，这些子区域在前向传播中被用来计算平均值。

BGRU的一般架构在这里进行了说明。它可以对顺序数据embeding进行建模，通过使用循环连接，信息可以在这些网络中循环任意长的时间。