34、图像生成与图像描述技术解析

图像生成与图像描述技术解析

1. 图像重建损失与异常检测

在图像重建任务中，通常存在多个损失项。以图中的示例架构为例，有重建损失（如 $L_{con}$）和对抗损失（如 $L_{adv}$）。此外，还可能有其他损失项，像图中的 $L_{lat}$，它是一种潜在损失，用于计算判别器中间层两个特征图之间的欧几里得距离之和。这些损失的加权和旨在鼓励期望的推理行为，其中对抗损失确保生成器学习到正常图像的流形。

图像重建的训练过程分为三个阶段：图像重建、计算正常预测误差分布以及应用距离阈值。根据输入的是正常图像还是异常图像，训练好的生成器会产生不同的结果。正常图像的重建结果与原始图像非常相似，重建误差较低，与学习到的参数化误差分布相比，其距离低于学习到的阈值。而当输入异常图像时，重建结果会明显变差，生成器会根据其学习到的正常图像流形“脑补”出没有异常的图像样子，这会导致与原始异常图像相比产生非常大的误差，从而可以正确标记出异常图像或像素，用于异常检测或定位。

2. 深度伪造技术

深度伪造是近年来流行起来的一种技术，它可以将现有图像或视频中的对象或人物替换为不同的对象或人物。创建深度伪造图像或视频常用的模型是自动编码器，性能更好的则是生成对抗网络（GAN）。

创建深度伪造的一种方法是使用一个编码器和两个解码器（A 和 B）。例如，要将人物 X 的脸替换为人物 Y 的脸，首先对人物 X 的脸部图像进行扭曲，然后通过编码器得到嵌入表示，再将其输入解码器 A，这促使两个网络学习从有噪声的版本中重建人物 X 的脸。接着，对人物 Y 的脸部图像进行变形后通过同一个编码器，再输入解码器 B，让这两个网络学习从有噪声的版本中重建人物 Y 的脸。不断重复这个过程，