31、图像嵌入与自动编码器：从基础到变分自动编码器

图像嵌入与自动编码器：从基础到变分自动编码器

1. 引言

在处理图像嵌入时，我们常常面临一些挑战。例如，对于非照片类图像，若没有大量带标签的数据集，同时又希望尽可能多地捕捉图像中的信息，该如何创建有效的嵌入呢？这时，辅助学习任务就派上了用场。

2. 辅助学习任务

辅助学习任务是指除了我们试图解决的实际监督学习问题之外的任务。这类任务的特点是有大量现成的数据可用。以文本分类为例，我们可以利用一个不相关的问题，如预测句子中的下一个单词，来创建文本嵌入。因为这个任务有大量现成的训练数据。我们可以从辅助模型中提取中间层的权重值，用于表示各种其他不相关任务的文本。

3. 自动编码器

自动编码器是学习图像嵌入的一个很好的辅助学习任务。它的工作原理是将图像数据通过一个网络，先将其压缩成一个较小的内部向量，然后再将其扩展回原始图像的维度。在训练自动编码器时，输入图像本身就作为其自身的标签。这样，我们实际上是在学习有损压缩，即如何在通过受限网络挤压信息的情况下恢复原始图像。

自动编码器的优点在于，由于“标签”是整个输入图像，输入的每个部分都与输出相关，因此有望从输入中保留更多的信息。而且，由于自动编码器是自监督的（不需要单独的步骤来标记图像），我们可以使用更多的数据进行训练，从而获得大大改进的编码。

通常，编码器和解码器形成一个沙漏形状，编码器中的每一层维度逐渐缩小，解码器中的每一层维度逐渐扩大。在某个点上，维度在编码器的末端和解码器的起始处达到最小，这个最小维度的向量就是潜在向量，它是输入的简洁表示。

那么，潜在维度应该设置多大呢？这存在一个压缩性和表达性之间的权衡。如果潜在空间的维度太小