变分自编码器VAE

一、机器学习分类

机器学习分为：有监督学习、无监督学习、半监督学习、自监督学习、强化学习、迁移学习。

1.有监督学习：
①解释：算法从标注的训练数据中学习，其中每个样本都有相应的输出标签
②示例算法：线性回归、逻辑回归、支持向量机、决策树、随机森林、神经网络等。

2.无监督学习：
①解释：在无监督学习中，算法使用没有标签的数据来发现数据的内在结构。
②示例算法：K-均值聚类、层次聚类、DBSCAN、自编码器、主成分分析（PCA）等。

二、VAE介绍：生成模型

变分自编码器（VAE，Variational Autoencoder）是一种生成模型，广泛用于深度学习领域，尤其是在生成式建模、数据降维、无监督学习等方面。VAE通过学习数据的潜在空间（latent space）来生成新的数据样本，具体可以总结为以下几个用途和特点：
1.生成模型
2.数据降维
3.无监督学习
4.潜在空间探索与插值
5.图像生成与修复
6.异常检测
7.文本生成

VAE是一种强大的生成模型，应用范围广泛，包括数据生成、降维、无监督学习、异常检测等领域。与其他生成模型（如GAN）相比，VAE在训练时更加稳定，能够提供更好的解释性，尤其是在需要生成新样本和进行数据重建的任务中表现突出。

三、AE与VAE

有监督的深度学习神经网络是为了分类，打标签。输入很多，最后输出就几个分类。

而无监督的自编码器AE，中间层很少，输入和输出很相似。

变分自编码器(VAE，Variational Auto-Encoder)，由编码器(Encoder)和解码器(Decoder)组成。

VAE的前身是AE，自编码器。应用是去水印、去马赛克等。

AE是无监督的深度学习(不打标签、不分类)。

VAE就是对AE的优化了，优化在中间层上，中间层的损失函数优化了，具体就是这个公式。

VAE 引入了概率分布的概念。

AE只有重建损失，VAE多了个KL散度。
KL散度就是概率分布，它让每次训练的输出结果变成不确定的。
比如GPT，同一个问题，可以给你不同的答案。比如AI绘图，同样的要求，每次输出生成不同的图片。