18、混合变形模型网络（HDM - Net）：单目表面回归的创新解决方案

混合变形模型网络（HDM - Net）：单目表面回归的创新解决方案

1. HDM - Net架构概述

HDM - Net与基于编码器 - 解码器架构的DNN回归器类似，但它不包含全连接层，因为全连接层会降低网络的泛化能力，导致过拟合。该网络包含一个3D损失，这是大多数3D重建方法共有的。

在HDM - Net中，等距性通过训练数据来施加约束，网络从相反的角度学习等距性概念，即不观察其他变形模式。轮廓信息也是一个重要的约束，通过比较学习到的表面和真实表面的投影来明确施加轮廓约束。

等距性和轮廓线索的结合使得HDM - Net能够有效地处理遮挡问题，并且轮廓在一定程度上实现了纹理不变性。通过改变光源位置，网络还学习了阴影的概念，从而能够适应不同的光照条件。轮廓和阴影的结合还可以实现无纹理表面的重建。

HDM - Net的架构由编码器和解码器组成，输入是一个224×224的三通道图像。编码器提取轮廓、阴影和纹理变形线索，并生成一个28×28×128的紧凑潜在空间表示。解码器通过一系列反卷积操作输出一个73×73×3的3D表面（点云）。为了避免梯度消失问题，网络采用了跳过连接，类似于ResNet。同时，由于全连接层会导致过拟合和破坏空间信息，因此在HDM - Net中被省略。

2. 损失函数

HDM - Net使用了三种损失函数，总结为损失能量：
[E(S,S_{GT}) = E_{3D}(S,S_{GT})+E_{iso}(S)+E_{cont.}(S,S_{GT})]
- 3D误差 ：这是3D回归中的主要损失，用于惩罚预测的3D状态和真实3D状态之间的差异。