24、热成像到可见光人脸合成及对抗DeepFakes技术

热成像到可见光人脸合成及对抗DeepFakes技术

1. 热成像到可见光人脸合成方法

1.1 AP - GAN框架与MCB池化

在热成像到可见光人脸合成的研究中，有学者提出了基于U - net的生成器与多模态紧凑双线性（MCB）池化的方法。在这个方法里，生成器借助MCB池化，在潜在空间中把语义属性信息和图像特征进行融合。而判别器采用三元组对，以此来区分真假图像以及对应的语义属性。为了生成高质量且能保留属性的图像，在训练网络时对多用途损失进行了优化。

1.2 自注意力引导合成

1.2.1 跨模态人脸验证方法流程

有研究提出了一种新的热成像到可见光匹配方法，其流程如下：
1. 给定热成像 - 可见光图像对 $(x_t, x_v)$，利用两个训练好的生成器将它们转换为对应的频谱图像，即 $\hat{x} v = G {t→v}(x_t)$，$\hat{x} t = G {v→t}(x_v)$。
2. 运用特征提取网络（如VGG - Face模型）提取特征，得到 $f_{x_t} = Feat(x_t)$，$f_{\hat{x} v} = Feat(\hat{x}_v)$，$f {x_v} = Feat(x_v)$，$f_{\hat{x} t} = Feat(\hat{x}_t)$。
3. 融合这些特征，生成图库模板 $g {x_v} = (f_{x_v} + f_{\hat{x} t})/2$ 和探测模板 $g {x_t} = (f_{x_t} + f_{\hat{x}_v})/2$。