[datawhale202210]李宏毅机器学习2021：自编码器

结论速递

本次task了解了自编码器的原理。自编码器可以视为是一种自监督学习，由三个主要部分组成，encoder，中间的embedding向量，和decoder。自编码器的的核心思想是化繁为简。常将中间的embedding向量作为后续任务的输入。

自编码器的常见变体包括，de-noising auto-encoder，前面加噪声，要求decoder还原出加噪声前的状态，可以类比BERTmask掉词的用途。Feature disentanglement，特征解构，使得特征具有具体意义。Discrete Latent Representation，离散表征，使中间的特征为离散特征。

1 自编码器的基础

1.1 引入：自监督学习回顾

自编码器可以属于自监督学习的一种，因为不需要喂入打了标签的数据。其实属于是最古老的自监督学习任务（早于GPT等）。事实上，自监督学习这个词起源于2019年，远晚于自编码器诞生的06/07年，这样介绍是为了便于理解。

自监督学习框架由以下两部分组成：

1. 给模型喂入一些没有标签的数据（自监督/预训练）
   

2. 微调后可以用在下游任务中
   

1.2 自编码器的构成

以图片处理为例，自编码器的结构如下

输入图片，经过一个encoder（多层神经网络），转化为一个向量，随后再经过一个decoder（多层神经网络），变成一张图片。

其中decoder类似于GAN中的生成器。

训练的目标