变分自动编码器（VAE variational autoencoder）

变分自动编码器：原理与应用解析
最新推荐文章于 2025-05-24 15:12:56 发布
原创 最新推荐文章于 2025-05-24 15:12:56 发布 · 1.6k 阅读 · 11 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #深度学习 #人工智能

文章目录


禁止转载

自动编码器 AutoEncoder

  • 组成 Components：

    • 编码器 Encoder: X → Z X \rightarrow Z X→Z
    • 解码器 Decoder: Z → X ^ Z \rightarrow \hat X Z→X^
    • 其中， X X X为训练集输入； Z Z Z为隐变量 latent variable

  • 应用场景 Applications:

    • 自动编码器：输入和输出尽可能相似
      在这里插入图片描述

    • 去噪模型 Denoising: 去除图像噪声（去水印也可）
      在这里插入图片描述

    • 压缩模型 Compression：将图像使用低维隐变量表示，结果传输后在接收端使用解压缩恢复图像
      在这里插入图片描述

    • 异常检测 Anomaly detector：根据损失大小检测图像是否和训练集同分布
      在这里插入图片描述

    • 生成器 Generator：将随机向量映射成有意义的数据
      在这里插入图片描述

  • 注意 Note: 编码器的降维过程如果使用无非线性激活函数的单层CNN，那么它将等效于PCA

变分推断 Variational Inference

  1. 引入 Introduction
    • 动机 Motivation： 作为一个生成器来说，随机采样生成的向量 Z Z Z很难通过解码器Decoder对应到有意义的数据，导致生成器模型失败。
    • 解决方案 Solution：假定 Z Z Z服从某分布，通过前半部分预测分布参数，随后从分布中采样得到可能对应有意义数据的 Z Z Z。
    • 一些事实 Some Facts： d d d维的任意分布可以被一系列 d d d维的正态分布和一个将它们映射的一个足够复杂的函数来表示。
      在这里插入图片描述
  2. 方法和讨论 Methods&Discussion:

    • 数学说明：对于编码器这个过程，条件概率公式可由贝叶斯公式表达，其中 P ( X ) P(X) P(X) 一般是高维数据，计算复杂intractable。
      在这里插入图片描述

    • 对于上述问题，有两种解决方案：Monte Carlo方法（基于采样的方法？），变分推断方法。变分推断使用另一个分布来近似不可求解的分布，这一过程是通过最小化两个分布之间的KL散度实现的。

    • KL散度 divergence：
      在这里插入图片描述

      • K L ≥ 0 KL \geq 0 KL≥0
      • KL散度不是对称的， q q q对 p p p的KL散度和 p p p对 q q q的KL散度不同

    • 综上可得下式，对于给定的 X X X，左式是固定的，对于右式来说，最小化第一项等同于最大化第二项，并且由于第二项+第一项（KL散度），所以左式恨大于等于第二项，第二项故又称为变分下限variational lower bound，它也是我们需要优化的项。
      在这里插入图片描述

    • 关于上式为什么选择 K L ( q ∣ ∣ p ) KL(q||p) KL(q∣∣p)：假定 p p p是一个多峰的真实分布， q q q是期待用来近似 p p p的可求解分布，则从下图结合KL散度的计算公式可得到解答。
      在这里插入图片描述

    • 对第二项进行变换得到两项，第一项实际上维感知损失，常见的有交叉熵误差、均方误差等，第二项表示 q q q和 p p p的散度。
      -

    • 模型的结构如下所示，编码器估计隐变量分布的参数，隐变量的分布一般假定为正态分布，采样得到的隐变量输入给解码器得到输出，但是此时存在一些问题：基于梯度下降的算法无法更新网络参数，因为采样操作在模型中引入了不确定节点，导致无法求解梯度。可以通过重参数的化的方法进行解决，即 Z = Σ ∗ θ + μ Z=\Sigma * \theta + \mu Z=Σ∗θ+μ，其中 θ \theta θ是服从标准正太分布，通过采样得到，这样就把随机节点移除了。

在这里插入图片描述
在这里插入图片描述

变分自动编码器 Variational AutoEncoder

  • 未重参数化的VAE结构（左）和重参数化之后的VAE结构（右）
    在这里插入图片描述
  • 总结
    在这里插入图片描述

条件变分自动编码器 Conditional Variational AutoEncoder

  • 在编码器和解码器都引入输入
    在这里插入图片描述

实验 Experiments

  • 实验结果
    在这里插入图片描述

声明

  • 第一节中的图片来源于李宏毅老师的课件
  • Tutorial on Variational Autoencoders
  • https://www.youtube.com/watch?v=uaaqyVS9-rM
变分自编码器 (Variational Autoencoder)
AI天才研究院
09-14 1468
1. 背景介绍 1.1 问题的由来 在机器学习领域，我们常常需要处理高维度的数据。然而，高维度数据的处理和分析是一项具有挑战性的任务，因为我们需要找到一种有效的方式来理解和利用这些数据的内在结构。自编码器是一种能够用于解决这个问题的技术，它可以通过学习数据的低维度表示来实现数据的压缩和解压缩。然而，传统的
变分自动编码器
kexinxin1的博客
10-26 1208
变分自动编码器 自编码器 中间层的编码维度要远远小于输出数据，整个模型训练目标为最小化重建输入数据误差 标准自编码器面临的问题在于 自编玛器将输入数据转为隐空间中的表达式不是连续的，使得解码器对于存在于类别之间的区域无法进行解码，因此提出了变分自编码器 变分自编码器 变分自编码器的隐空间设计为连续的分布以便进行随机采样和插值，编码器输出两个n维向量，分别为均值向量u以及标准差...
变分自编码器（VAE）
孤独腹地的博客
05-31 4276
在本篇文章中，我将从变分自编码器的来源出发，从两个角度分别引出其网络和目标函数 VAE的思想来源 如果我们有一批样本，然后想生成一个新样本，我们应该怎么做呢？ 首先，最直接的想法是根据已有样本得到真实分布Pdata(x)P_{data}(x)Pdata​(x)，从而根据Pdata(x)P_{data}(x)Pdata​(x)采样即可获取新样本 但是很可惜，我们很难获得Pdata(x)P_{data}(x)Pdata​(x)，并且通常Pdata(x)P_{data}(x)Pdata​(x)是复杂的，不容易采样
变分自编码器（VAE）（一）
热门推荐
zeronose的博客
01-24 1万+
前言 说来惭愧，VAE接触很久了，一直想把VAE好好的总结一下，一直拖到现在。 闲话少说，关于VAE的文章网上也有不少，解释的最好最清楚的还是苏剑林老师的这篇文章文章链接，还有B站白板推导系列中关于变分推断跟变分自编码器链接。大家可以多看看这两个资料，或者直接看我这次的总结肯定也不错的。 一、理解VAE前需要了解的知识点 1.极大似然估计 关于极大似然估计可以看我这篇文章，理解极大似然估计的原理，因为VAE中也用到了极大似然估计的原理。https://blog.youkuaiyun.com/zeronose/
生成模型——变分自动编码器（Variational Autoencoders, VAEs）
最新发布
大摆王的博客
05-24 2839
自动编码器（Autoencoder）是一种无监督学习的神经网络，它通过学习输入数据的高效表示来重构输入数据。自动编码器的目标是将输入编码成一个较低维度的表示，然后再从这个表示中重构出原始输入数据。这种网络结构通常用于数据降维、特征提取、去噪等任务。编码器将输入进行编码，变成中间结果，中间结果再经过解码器还原，这种输入等于输出的结构没有什么实际意义。
PyTorch深度学习实战（29）——变分自编码器(Variational Autoencoder, VAE)
盼小辉丶的博客
12-25 7114
变分自编码器 (Variational Autoencoder, VAE) 是一种结合了自编码器和概率建模的生成模型，通过编码器将输入数据映射到潜在空间中的概率分布，并通过解码器将从潜在空间采样得到的潜在变量映射回原始数据空间，实现了数据的生成和特征学习。
变分自编码器(Variational Autoencoder)原理与代码实战案例讲解
AI大模型应用之禅
06-24 1235
1.背景介绍 在深度学习的世界中，我们经常会遇到需要对高维度数据进行降维处理的情况。这时，自编码器（Autoencoder）便是一种常用的处理手段。然而，传统的自编码器存在一定的局限性，例如无法生成新的数据。为了解决这个问题，变分自编码器（Variational Autoencoder，简称VAE）应运而生。 VAE是一种生成模型，它的核
AIGC实战——变分自编码器(Variational Autoencoder, VAE)
盼小辉丶的博客
11-16 8218
变分自编码器通过在模型中引入随机性，并限制潜空间中的点的分布来解决自编码器存在的问题。只需进行一些微小的调整，就可以将自编码器转换为变分自编码器，从而使其成为真正的生成模型。在本节中，我们介绍了变分自编码器的基本原理，并使用 `Keras` 实现了一个变分自编码器用于生成 Fashion-MNIST 图像。
变分自编码器 (Variational AutoEncoder, VAE) 详解与实现
盼小辉丶的博客
01-14 1592
变分自编码器是一种结合了自编码器和概率建模的生成模型，通过编码器将输入数据映射到潜在空间中的概率分布，并通过解码器将从潜在空间采样得到的潜在变量映射回原始数据空间，实现了数据的生成和特征学习。
【DL】第 2 章 ：变分自动编码器（VAE）
sikh_0529的博客
03-05 4411
在本章中，您将：了解自动编码器的架构设计如何使其完美适用于生成建模使用 Keras 从头开始构建和训练自动编码器使用自动编码器生成新图像，但了解这种方法的局限性了解变分自动编码器的架构以及它如何解决与标准自动编码器相关的许多问题使用 Keras 从头开始构建变分自动编码器使用变分自动编码器生成新图像使用变分自动编码器通过潜在空间算法来处理生成的图像2013年，Diederik P. Kingma 和 Max Welling发表了一篇论文，为一种称为变分自动编码器。
变分自编码器
远方雪的专栏
09-10 697
VAE的关键特点是它通过最大化变分下界（ELBO）来训练，这涉及到两个主要部分：数据的重构误差和潜在空间的正则化（通常使用KL散度）。变分自编码器（VAE）是一种生成模型，主要用于学习输入数据的潜在表示，并基于这些表示生成新的数据样本。这三种方法各有特点和应用场景，变分自编码器主要用于生成模型和特征学习，而策略梯度方法和Q学习则广泛应用于强化学习任务中。Q学习的目标是学习一个策略，该策略总是选择使Q值最大化的动作，从而最大化长期奖励。● 编码器：将输入数据映射到潜在空间的分布参数（通常是均值和方差）。
变分自编码器（Variational Autoencoder, VAE）
jacke121的专栏
05-13 2836
变分自编码器（Variational Autoencoder, VAE）
【人工智能概论】 变分自编码器（Variational Auto Encoder , VAE）
qq_44928822的博客
02-02 8196
变分自编码器（Variational Auto Encoder , VAE）
变分自编码器 (Variational Autoencoders, VAEs)
连理o的博客
06-26 7655
变分自编码器
变分自编码器VAE
小幸运
08-11 8825
1. VAE & GAN 变分自编码器（Variational auto-encoder，VAE）是一类重要的生成模型（generative model） 除了VAEs，还有一类重要的生成模型GANs VAE 跟 GAN 比较，目标基本是一致的——希望构建一个从隐变量Z生成目标数据X的模型，但是实现上有所不同。 生成模型的难题就是判断生成分布与真实分布的相似度，因为我们只知道两者的采样结果，不知道它们的分布表达式。KL 散度是根据两个概率分布的表达式来算它们的相似度的，我们只有样本...
理解变分自动编码器 (VAE)
2401_85233349的博客
08-17 3417
添加图片注释，不超过 140 字（可选） 降维、PCA 和自动编码器。欢迎来到雲闪世界。 在第一部分中，我们将首先讨论一些与降维相关的概念。特别是，我们将简要回顾主成分分析 (PCA) 和自动编码器，展示这两个概念是如何相互关联的。 什么是降维？ 在机器学习中，降维是减少描述某些数据的特征数量的过程。这种减少是通过选择（仅保留一些现有特征）或提取（基于旧特征创建少量新特征）来完成的，并且在许多需要低维数据（数据可视化、数据存储、大量计算……）的情况下非常有用。虽然存在许多不同的降维方法，但我们可以
如何设计和实现一个能够处理复杂数据结构的变分自编码器（Variational Autoencoder, VAE）模型？写出pytorch代码
11-23
变分自编码器（VAE）是一种深度学习模型，主要用于生成新的、类似训练数据的内容。它结合了自编码器（AE）的无监督特征学习和变分推断的概念。设计和实现VAE通常包含以下几个步骤： 1. **数据预处理**：首先对输入数据进行标准化或归一化，以便于神经网络处理。 2. **构建编码器**：编码器是一个接收输入数据并将其映射到潜在空间（如高斯分布）的函数。常用架构可以是多层感知器（MLP），对于复杂的数据结构，可能需要使用卷积神经网络（CNN）或循环神经网络（RNN）。 ```python import torch from torch import nn class Encoder(nn.Module): def __init__(self, input_dim, latent_dim): super(Encoder, self).__init__() # ...此处添加适当的层数和节点数，如全连接层或卷积层... self.fc1 = nn.Linear(input_dim, hidden_dim) self.fc2 = nn.Linear(hidden_dim, latent_dim * 2) # 输出均值和方差参数 def forward(self, x): h = torch.relu(self.fc1(x)) z_mean, z_log_var = self.fc2(h).chunk(2, dim=-1) return z_mean, z_log_var ``` 3. **构建解码器**：解码器负责从潜在空间将数据重建回原始空间。同样，可以选择合适的网络结构适应复杂数据。 ```python class Decoder(nn.Module): def __init__(self, latent_dim, output_dim): super(Decoder, self).__init__() # ...添加适当的层，比如线性层，反卷积层等... self.fc1 = nn.Linear(latent_dim, hidden_dim) self.fc2 = nn.Linear(hidden_dim, output_dim) def forward(self, z): h = torch.relu(self.fc1(z)) reconstructed_x = torch.sigmoid(self.fc2(h)) # 对二进制数据如图像使用sigmoid激活 return reconstructed_x ``` 4. **计算损失**：使用KL散度衡量编码器生成的潜在变量与标准正态分布之间的差异，并与重构误差相加作为总损失。 ```python def loss_function(recon_x, x, z_mean, z_log_var): BCE = F.binary_cross_entropy(recon_x, x.view(-1, x.size(1))) KLD = -0.5 * torch.sum(1 + z_log_var - z_mean.pow(2) - z_log_var.exp()) return BCE + KLD ``` 5. **训练模型**：使用Adam或其他优化器更新网络权重，同时监控损失函数的变化。 ```python def train(model, dataloader, epochs, learning_rate): optimizer = Adam(model.parameters(), lr=learning_rate) for epoch in range(epochs): for data, _ in dataloader: # ...进行前向传播、计算损失、反向传播和优化操作... ```
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值