VAE pytorch

VAE详解(附pytorch) VAE:变分自编码器,遵循encoder-decoder结构,但是encoder的结果是正态分布的均值和方差(其实也是一般的参数,只是我们赋予了它们均值和方差的意义) 编码是从不同的事物中提取不同的特征,关注下面的蓝色与绿色曲线,并假设它们分别是数字1与2的编码,如果他们的方差都是0,那么图像就是一条在0点处的蓝色竖线和在-2处的绿色竖线,那么编码的十分完美且清晰,但是我们这是生成模型,可以有一些多样性,那么我们的编码就可以模糊一些,就真正如下图所示,如果在绿色与蓝色的交界处进行采样,那么... 阅读详情
import torch

import torch.nn as nn

from torch.autograd import Variable

import torch.optim as optim

from torchvision import transforms,datasets

import torch.nn.functional as F

import os

import scipy

import numpy as np

from scipy import misc

import math

batch_size = 64

latent_vector = 32

intermediate_vector = 256

num_class = 10

det = 1e-10

lamb = 2.5

train_data = datasets.MNIST(root='./data/', train=True, transform=transforms.ToTensor(), download= True)

test_data = datasets.MNIST(root= './data/', train=True, transform=transforms.ToTensor(), download= True)

train_loader = torch.utils.data.DataLoader(dataset=train_data, batch_size= batch_size, shuffle= True)

test_loader = torch.utils.data.DataLoader(dataset=test_data, batch_size= batch_size, shuffle=True)

class VAE(nn.Module):

    def __init__(self):

        super(VAE, self).__init__()

        self.encoder = nn.Sequential(

            nn.Conv2d(1, 32, 3, padding=1, stride=1),

            nn.LeakyReLU(negative_slope=0.2),

            nn.Conv2d(32, 32, 3, padding=1, stride=2),

            nn.LeakyReLU(negative_slope=0.2),

            nn.Conv2d(32, 64, 3, padding=1, stride=1),

            nn.LeakyReLU(negative_slope=0.2),

            nn.Conv2d(64, 64, 3, padding=1, stride=2),  # 7*7*64

            nn.LeakyReLU(negative_slope=0.2),
        )

        self.fc_mu = nn.Linear(7*7*64, latent_vector)

        self.fc_logvar = nn.Linear(7*7*64, latent_vector)

        self.fc = nn.Linear(latent_vector, 7*7*64)

        self.decoder = nn.Sequential(

            nn.ConvTranspose2d(64, 64, 4, padding=1, stride=2),

            nn.LeakyReLU(negative_slope=0.2),

            nn.ConvTranspose2d(64, 32, 3, padding=1, stride=1),

            nn.LeakyReLU(negative_slope=0.2),

            nn.ConvTranspose2d(32, 32, 4, padding=1, stride=2),

            nn.LeakyReLU(negative_slope=0.2),

            nn.ConvTranspose2d(32, 1, 3, padding=1, stride=1),

            nn.Sigmoid()
        )

    def Reparameter(self, mu, logvar):

        parameter = Variable(torch.randn(mu.size(0), mu.size(1)))

        return parameter * torch.exp(logvar/2) + mu


    def forward(self, x):

        mu = self.encoder(x)

        logvar = self.encoder(x)

        mu = self.fc_mu(mu.view(mu.size(0), -1))

        logvar = self.fc_logvar(logvar.view(logvar.size(0), -1))

        z = self.Reparameter(mu, logvar)

        vector = self.fc(z).view(z.size(0), 64, 7, 7)

        return self.decoder(vector), mu, logvar

model = VAE()

MSE_Loss = nn.MSELoss(size_average=False)

#MSE_Loss = F.binary_cross_entropy(reduction='sum')

def loss_function(input, output, mu, logvar):

    Mse = MSE_Loss(input, output)

    # Mse = 0.5 * torch.mean((input - output).pow(2), 0)

    KL_loss = 0.5 * torch.sum(-logvar + mu.pow(2) + logvar.exp() - 1)

    # KL_loss = -0.5 * (temp_logvar - z_se.pow(2))
    #
    # KL_loss = torch.mean(torch.tensordot(torch.unsqueeze(y, 1), KL_loss), 0)
    #
    # cat_loss = torch.mean(y * torch.log(y + det), 0)
    #
    # return lamb * torch.sum(Mse) + torch.sum(KL_loss) + torch.sum(cat_loss)

    return Mse + KL_loss

def save_image(output, size, path, Color):

    h, w = output.shape[1], output.shape[2]

    if Color is True:

        image = np.zeros((w * size[0], h * size[1], 3))

    else:

        image = np.zeros((w * size[0], h * size[1]))

    for index, data in enumerate (output):

        i = index % size[0]

        j = math.floor(index / size[1])

        if Color is True:

            image[h*j : h*j+h, w*i : w*i+w, :] = data

        else:

            image[h*j : h*j+j, w*i : w*i+w] = data

    scipy.misc.toimage((image*255), cmin=0, cmax=255).save(path)

def rescale_image(image):

    return (image/1.5+0.5)*255

optimizer = optim.SGD(model.parameters(), lr= 0.0001)

def train():

    for epoch in range(1,10):

        for i, (data, _) in enumerate (train_loader):

            tensor_data = Variable(data)

            output, mu, logvar= model(tensor_data)

            optimizer.zero_grad()

            loss = loss_function(tensor_data, output, mu, logvar)

            loss.backward()

            optimizer.step()

            if i % 50 == 0:

                if not os.path.exists("./image"):

                   os.mkdir("./image")

                np_output = output.detach().numpy()

                np_output = np_output.swapaxes(1,2).swapaxes(2,3)

                save_image(np_output, [8,8], './image/image_{}.png'.format(i), True)

                print("loss={}".format(loss))

train()


【13】变分自编码器(VAE)的原理介绍与pytorch实现 文章目录1.VAE的设计思路2.VAE的模型架构3.VAE的作用原理4.VAE的Pytorch实现1)参考代码2)训练结果展示3)生成结果展示5.实现VAE中出现的问题 1.VAE的设计思路 VAE作为一个生成模型,其基本思路是很容易理解的:把一堆真实样本通过编码器网络变换成一个理想的数据分布,然后这个数据分布再传递给一个解码器网络,得到一堆生成样本,生成样本与真实样本足够接近的话,就训练出了一个自编码器模型。那VAE(变分自编码器)就是在自编码器模型上做进一步变分处理,使得编码器的输出结果能对应到目标分布 阅读详情

相关推荐

PyTorch生成式人工智能——VQ-VAE详解与实现

VQ-VAE (Vector Quantised-Variational AutoEncoder) 的核心思想就是将 VAE 的连续潜变量离散化。它通过学习一个码本 (Codebook) 来实现这一点,码本是一个包含有限个嵌入向量的字典。模型不是直接输出一个连续的潜在向量,而是从码本中找出与编码器输出最接近的嵌入向量来代替它。本节首先详细讲解 VQ-VAE 的技术原理,然后使用 PyTorch 从零开始实现 VQ-VAE 模型。

盼小辉丶的博客 3370

变分自编码器——Pytorch实现VAE

变分自编码器(Variational Autoencoder,VAE)是一种生成模型,结合了自编码器和变分推断的思想。它可以用于学习数据的潜在表示,并用于生成新的样本。VAE的目标是学习一个潜在空间(latent space),使得原始数据可以通过从该潜在空间中采样并解码重构出来。编码器(encoder)和解码器(decoder)。编码器将输入数据映射到潜在空间中的一组潜在变量(latent variables)。编码器将输入数据xxx映射到潜在变量zzz的概率分布qz∣x。

qq_36892712的博客 4349

vae.pytorch:深度特征一致的变分自动编码器的PyTorch实现

PyTorch中的深度特征一致变分自动编码器 深度特征一致变分自动编码器的PyTorch实现。 我基于侯宪旭,沉琳琳,孙可,邱国平实施了DFC-VAE。 我使用CelebA数据集训练了该模型。 有关数据集的更多详细信息,请。 安装 克隆此存储库。 建议使用python 3.6。 使用命令pip install -r requirements.txt安装库。 数据集 您需要从上下载CelebA数据集,并按照以下方式进行排列。 . ├── README.md ├── requirements.txt ├── models ├── utils ... └── data └── celeba ├── images │ ├── 000001.jpg │ └── ... └── annotations

VAE——生成数字(Pytorch+mnist)

VAE——生成数字(Pytorch+mnist),变分自编码器。

计算机硕士的博客 1163

FPGA新手必看:XC7Z020最小系统搭建全攻略(附原理图解析)

本文为FPGA新手提供了XC7Z020最小系统搭建的完整实战指南。文章详细解析了电源架构、时钟复位、配置调试等关键硬件电路设计,并重点剖析了外围电路与端口引脚的连接要点及常见陷阱,帮助读者从零开始构建稳定可靠的开发平台。

weixin_29189377的博客 360

Ubuntu安装pytorch3d的最便捷方法【原创】

Ubuntu安装pytorch3d的最便捷方法

qq_54900679的博客 2926

生成模型之VAE模型及pytorch实现

VAE(变分自编码器)是一种生成模型,结合了自编码器和概率图模型的思想。它通过学习数据的潜在分布,可以生成新的数据样本。VAE通过将输入数据映射到潜在空间中的分布,并在训练过程中最大化数据与潜在变量之间的条件概率来实现。其关键思想在于编码器将输入数据编码成潜在分布的参数,解码器则从这个分布中采样生成新的数据。这种生成方式不仅能够生成新的数据,还能够在潜在空间中进行插值和操作,提供了强大的特征学习和数据生成能力

Miracle Fan的博客 3828

UOS的ARM机编译QT5.14.2记录

我需要的qt版本是Qt5.14.2,所以选择编译Qt5.14.2源码;几个月前尝试了编译一次,当时编译过程中出现了报错,当时时间很紧最后安装的默认版本来使用,最近有时间重新进行了一次编译,历经3个星期(4G的内存)终于解决了各种坑,编译成功了,现在将编译过程中遇见的一些坑记录一下,方便日后能记得这一次可恶的编译过程,如有描述欠缺的地方,还希望各位大佬给点意见指导指导🙏。

NiF693zzz的博客 1619

PyTorch实现VAE

转载自:https://shenxiaohai.me/2018/10/20/pytorch-tutorial-advanced-02/,本文只做个人记录学习使用,版权归原作者所有。 # 包 import os import torch import torch.nn as nn import torch.nn.functional as F import torchvision from to...

开飞机的小毛驴儿 9549

嵌入式SPI总线抽象设计:跨平台驱动与分层解耦实践

SPI(串行外设接口)是嵌入式系统中应用最广泛的同步串行通信协议,其核心价值在于高吞吐、低开销与硬件简洁性。其工作原理基于主从架构、全双工/半双工时序及片选(CS)控制,依赖CPOL/CPHA组合定义四种标准模式。在工程实践中,SPI常面临硬件资源受限、多外设共用总线、MCU平台迁移等挑战,导致驱动复用率低、维护成本高。通过结构体+函数指针实现的分层抽象——将物理总线、协议适配与设备驱动解耦,可显著提升代码可移植性与扩展性。该方法天然支持硬件SPI与GPIO模拟SPI双模式切换,并已在STM32等主流MCU

weixin_42601134的博客 62

CHI里的Error handling机制

本文讲解了CHI里的Error handling机制。

W1Z1Q的专栏 2502

pytorch实现VAE

一、VAE的具体结构 二、VAE的pytorch实现 1加载并规范化MNIST  import相关类: from __future__ import print_function import argparse import torch import torch.utils.data import torch.nn as nn import torch.opti

词语大杂烩 8906

手把手教你学Simulink--移动机器人多轮协同场景实例:基于Simulink的双轮差速PMSM轮毂电机协同驱动仿真

本文介绍了基于Simulink的双轮差速PMSM轮毂电机协同驱动仿真系统。针对移动机器人存在的电机参数不一致、负载分配不均等问题,提出主从同步+力矩补偿的协同控制策略。通过搭建包含运动学模型、PMSM电机模型和矢量控制器的仿真系统,实现了速度同步误差<0.005m/s、轨迹跟踪误差<0.8cm、能耗降低12.5%的优化效果。文章详细阐述了建模步骤、核心算法实现和性能验证,为移动机器人动力系统设计提供了实用参考方案。

MHD0815的博客 134

VAE模型——pytorch实现

【代码】VAE模型——pytorch实现。

Peach_____的博客 5393

YOLO11 Backbone改进:二值化、三值化权重实战(一)

本文介绍了二值化/三值化神经网络的基本概念、优势挑战及应用场景。二值化网络将权重限制为±1,三值化则增加0值,显著减少模型存储需求和计算复杂度。虽然存在精度下降等挑战,但通过技术改进已能在移动设备、自动驾驶等领域应用。文章分析了YOLO11中适合量化的层,并详细阐述了二值化权重原理及Straight-Through Estimator等关键技术。二值化/三值化神经网络为资源受限设备提供了高效的深度学习解决方案。

本博客聚焦 YOLOv11 全流程落地,涵盖架构优化、数据集处理、训练技巧与多场景部署,兼及国产数据库、Java 开发与 AI 模型应用,内容兼顾理论与工程实践,为开发者提供系统干货,助力高效提升技术能力。 300

ZYNQ通过AXI DMA实现PL发送连续大量数据到PS DDR

方案二是在PS端的MPU配置中,将DMA缓冲区所在的内存区域标记为“不缓存”(Device或Strongly Ordered类型),但这样CPU访问这些内存区的速度会大幅降低,需要根据实时性和数据正确性的需求做权衡。更妙的是,描述符链表可以做成一个环状队列,放在DDR里让DMA循环取走,从而实现持续不断的“流式”传输。用FPGA实现FFT硬件加速的系统中也是如此:PS向PL提交待处理的FFT数据,PL硬件加速计算后,DMA把结果写回DDR,全程CPU几乎只做配置调度,大量数据吞吐留给了硬件通道。

QQ_778132974的博客 180

PyTorch-VAE 项目推荐

PyTorch-VAE 项目推荐 1. 项目基础介绍和主要编程语言 项目名称: PyTorch-VAE 项目链接: https://github.com/AntixK/PyTorch-VAE 主要编程语言: Python PyTorch-VAE 是一个专注于实现和研究变分自编码器(Variational Autoencoders, VAE)的开源项目。该项目使用 PyTorch 框架,旨在为研究人...

gitblog_09580的博客 635

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

Pytorch入门之VAE

这里谈谈对于变分自编码器(Variational auto-encoder)即VAE的实现。 1. 稀疏编码 首先介绍一下“稀疏编码”这一概念。 早期学者在黑白风景照片中可以提取到许多16*16像素的图像碎片。而这些图像碎片几乎都可由64种正交的边组合得到。而且组合出一张碎片所需的边的数目很少,即稀疏的。同时在音频中大多数声音也可由几种基本结构组合得到。这其实就是特征的稀...

2107

老版QQ原生表情gif动态

这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

VAE的Pytorch实现和可视化

VAE pytorch代码实现和可视化

WonderKing'blog 4024

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

PyTorch-VAE 项目安装和配置指南

### 项目介绍 PyTorch-VAE 是一个开源项目,旨在提供一系列在 PyTorch 框架下实现的变分自编码器(Variational Autoencoders, VAE)模型。该项目的主要目标是提供一个简单且可复现的示例,帮助用户理解和实现各种 VAE 模型。所有模型都基于 CelebA 数据集进行训练,以确保一致性和可比性。 ### 主要编程语言 该项目主要使用 Python 编程语言...

gitblog_09579的博客 592

VAE家族全攻略:通俗讲解+PyTorch代码实现

摘要:本文通过画家画猫的通俗案例形象解释了VAE(变分自编码器)家族的工作原理:基础VAE学习数据分布生成新样本,β-VAE实现特征解耦,CVAE支持条件生成,VQ-VAE采用离散编码提高生成质量。随后详细解析了各模型的数学原理,并以MNIST手写数字生成为例,对比了VAE、β-VAE和CVAE的生成效果。实验结果表明,β-VAE特征更独立,CVAE可精准控制生成内容,而VQ-VAE生成质量更高但训练复杂。文章还分析了各模型的优缺点及适用场景,并与GAN进行了对比,指出VAE家族在训练稳定性、概率解释等方面

AIMoster的博客 770

CADA-VAE-PyTorch 项目教程

CADA-VAE-PyTorch 项目教程 项目介绍 CADA-VAE-PyTorch 是一个基于 PyTorch 的开源项目,实现了论文 "Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders"(CVPR 2019)中的算法。该项目通过对齐的变分自编码器(VAE)来实现广义的零...

gitblog_00296的博客 606

使用Pytorch从零开始构建VAE

现在,我们创建一个简单的 VAE,它具有完全连接的编码器和解码器。在编码器中,均值 (μ) 和方差 (σ²) 向量是我们的变分表示向量(大小=200)。) 将输入数据转换为一个变分表示向量 (顾名思义),该向量的元素表示输入数据分布的不同属性。在这篇博文中,我们仅关注利用 Pytorch 实现一个简单的VAE,在MNIST上进行训练,并对其隐表示进行可视化。这些连续向量定义了我们的潜在空间分布,使我们能够在 VAE 中对图像进行采样。) 中,输入数据的信息被映射到一个固定的隐表示。相反,变分自编码器 (

GarryWang1248的博客 1280

BERT4Rec-VAE-Pytorch 项目教程

BERT4Rec-VAE-Pytorch 项目教程 项目介绍 BERT4Rec-VAE-Pytorch 是一个基于 Pytorch 的开源项目,实现了 BERT4Rec 和 Netflix VAE 模型。该项目允许用户在 MovieLens-1m 和 MovieLens-20m 数据集上训练这些模型。BERT4Rec 是一种用于序列推荐的 BERT 模型,而 Netflix VAE 是一种用于协同...

gitblog_01002的博客 961
上一篇: 异常检测领域的综述文章
SoyCoder
博客等级 码龄9年 12粉丝 16原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值