自编码器通俗易懂的解释（Why-What-When-How）

自编码器通俗易懂的解释（Why-What-When-How）

前言：

前段时间随着Sora的发布，生成式大模型赚够了大众的评论和眼光，可谓是风头无两。简单了解过Sora就知道，它是Diffusion model（扩散模型）和Transformer 两种技术架构的结合。其中Transformer 基于Attention机制（即注意力机制），而大部分Attention模型都是依附于Encoder-Decoder 框架进行实现的。编码器（Encoder）和解码器（Decoder）作为自编码器的基本组成部分，有着相同之处。同时，变分自编码器作为一种比Sora简单的生成式模型，学习变分自编码器可以有助于我们理解Sora的部分工作原理。本文致力于向各位对自编码器感兴趣的朋友通俗易懂的讲解自编码器，当然由于笔者知识有限，行文过程若有错误，也希望各位朋友不吝赐教。

Why-自编码器出现的原因：

自编码器作为一种无监督式学习模型，是由 Rumelbadt、Hinton和 Williams 于1986年首次提出，其最开始的出发点是为了以最小误差重建输入值。进一步的解释就是要让算法自己找出数据的潜在空间的特征表示，并能够从特征还原到原数据的近似。也许有朋友会问，自编码器重建输入值的意义在哪里？其实，重建输入值只是表象，深层含义是为了能够找出输入数据中最能代表数据本身的那些未直接能表现或被感知的隐藏因素、进而加深对输入数据的理解。

What-自编码器的结构、原理及其分类：

(1）结构&#x