import torch
import torch.nn as nn
from torch.autograd import Variable
import torch.optim as optim
from torchvision import transforms,datasets
import torch.nn.functional as F
import os
import scipy
import numpy as np
from scipy import misc
import math
batch_size = 64
latent_vector = 32
intermediate_vector = 256
num_class = 10
det = 1e-10
lamb = 2.5
train_data = datasets.MNIST(root='./data/', train=True, transform=transforms.ToTensor(), download= True)
test_data = datasets.MNIST(root= './data/', train=True, transform=transforms.ToTensor(), download= True)
train_loader = torch.utils.data.DataLoader(dataset=train_data, batch_size= batch_size, shuffle= True)
test_loader = torch.utils.data.DataLoader(dataset=test_data, batch_size= batch_size, shuffle=True)
class VAE(nn.Module):
def __init__(self):
super(VAE, self).__init__()
self.encoder = nn.Sequential(
nn.Conv2d(1, 32, 3, padding=1, stride=1),
nn.LeakyReLU(negative_slope=0.2),
nn.Conv2d(32, 32, 3, padding=1, stride=2),
nn.LeakyReLU(negative_slope=0.2),
nn.Conv2d(32, 64, 3, padding=1, stride=1),
nn.LeakyReLU(negative_slope=0.2),
nn.Conv2d(64, 64, 3, padding=1, stride=2), # 7*7*64
nn.LeakyReLU(negative_slope=0.2),
)
self.fc_mu = nn.Linear(7*7*64, latent_vector)
self.fc_logvar = nn.Linear(7*7*64, latent_vector)
self.fc = nn.Linear(latent_vector, 7*7*64)
self.decoder = nn.Sequential(
nn.ConvTranspose2d(64, 64, 4, padding=1, stride=2),
nn.LeakyReLU(negative_slope=0.2),
nn.ConvTranspose2d(64, 32, 3, padding=1, stride=1),
nn.LeakyReLU(negative_slope=0.2),
nn.ConvTranspose2d(32, 32, 4, padding=1, stride=2),
nn.LeakyReLU(negative_slope=0.2),
nn.ConvTranspose2d(32, 1, 3, padding=1, stride=1),
nn.Sigmoid()
)
def Reparameter(self, mu, logvar):
parameter = Variable(torch.randn(mu.size(0), mu.size(1)))
return parameter * torch.exp(logvar/2) + mu
def forward(self, x):
mu = self.encoder(x)
logvar = self.encoder(x)
mu = self.fc_mu(mu.view(mu.size(0), -1))
logvar = self.fc_logvar(logvar.view(logvar.size(0), -1))
z = self.Reparameter(mu, logvar)
vector = self.fc(z).view(z.size(0), 64, 7, 7)
return self.decoder(vector), mu, logvar
model = VAE()
MSE_Loss = nn.MSELoss(size_average=False)
#MSE_Loss = F.binary_cross_entropy(reduction='sum')
def loss_function(input, output, mu, logvar):
Mse = MSE_Loss(input, output)
# Mse = 0.5 * torch.mean((input - output).pow(2), 0)
KL_loss = 0.5 * torch.sum(-logvar + mu.pow(2) + logvar.exp() - 1)
# KL_loss = -0.5 * (temp_logvar - z_se.pow(2))
#
# KL_loss = torch.mean(torch.tensordot(torch.unsqueeze(y, 1), KL_loss), 0)
#
# cat_loss = torch.mean(y * torch.log(y + det), 0)
#
# return lamb * torch.sum(Mse) + torch.sum(KL_loss) + torch.sum(cat_loss)
return Mse + KL_loss
def save_image(output, size, path, Color):
h, w = output.shape[1], output.shape[2]
if Color is True:
image = np.zeros((w * size[0], h * size[1], 3))
else:
image = np.zeros((w * size[0], h * size[1]))
for index, data in enumerate (output):
i = index % size[0]
j = math.floor(index / size[1])
if Color is True:
image[h*j : h*j+h, w*i : w*i+w, :] = data
else:
image[h*j : h*j+j, w*i : w*i+w] = data
scipy.misc.toimage((image*255), cmin=0, cmax=255).save(path)
def rescale_image(image):
return (image/1.5+0.5)*255
optimizer = optim.SGD(model.parameters(), lr= 0.0001)
def train():
for epoch in range(1,10):
for i, (data, _) in enumerate (train_loader):
tensor_data = Variable(data)
output, mu, logvar= model(tensor_data)
optimizer.zero_grad()
loss = loss_function(tensor_data, output, mu, logvar)
loss.backward()
optimizer.step()
if i % 50 == 0:
if not os.path.exists("./image"):
os.mkdir("./image")
np_output = output.detach().numpy()
np_output = np_output.swapaxes(1,2).swapaxes(2,3)
save_image(np_output, [8,8], './image/image_{}.png'.format(i), True)
print("loss={}".format(loss))
train()
相关推荐
PyTorch生成式人工智能——VQ-VAE详解与实现
VQ-VAE (Vector Quantised-Variational AutoEncoder) 的核心思想就是将 VAE 的连续潜变量离散化。它通过学习一个码本 (Codebook) 来实现这一点,码本是一个包含有限个嵌入向量的字典。模型不是直接输出一个连续的潜在向量,而是从码本中找出与编码器输出最接近的嵌入向量来代替它。本节首先详细讲解 VQ-VAE 的技术原理,然后使用 PyTorch 从零开始实现 VQ-VAE 模型。
变分自编码器——Pytorch实现VAE
变分自编码器(Variational Autoencoder,VAE)是一种生成模型,结合了自编码器和变分推断的思想。它可以用于学习数据的潜在表示,并用于生成新的样本。VAE的目标是学习一个潜在空间(latent space),使得原始数据可以通过从该潜在空间中采样并解码重构出来。编码器(encoder)和解码器(decoder)。编码器将输入数据映射到潜在空间中的一组潜在变量(latent variables)。编码器将输入数据xxx映射到潜在变量zzz的概率分布qz∣x。
vae.pytorch:深度特征一致的变分自动编码器的PyTorch实现
PyTorch中的深度特征一致变分自动编码器 深度特征一致变分自动编码器的PyTorch实现。 我基于侯宪旭,沉琳琳,孙可,邱国平实施了DFC-VAE。 我使用CelebA数据集训练了该模型。 有关数据集的更多详细信息,请。 安装 克隆此存储库。 建议使用python 3.6。 使用命令pip install -r requirements.txt安装库。 数据集 您需要从上下载CelebA数据集,并按照以下方式进行排列。 . ├── README.md ├── requirements.txt ├── models ├── utils ... └── data └── celeba ├── images │ ├── 000001.jpg │ └── ... └── annotations
VAE——生成数字(Pytorch+mnist)
VAE——生成数字(Pytorch+mnist),变分自编码器。
FPGA新手必看:XC7Z020最小系统搭建全攻略(附原理图解析)
本文为FPGA新手提供了XC7Z020最小系统搭建的完整实战指南。文章详细解析了电源架构、时钟复位、配置调试等关键硬件电路设计,并重点剖析了外围电路与端口引脚的连接要点及常见陷阱,帮助读者从零开始构建稳定可靠的开发平台。
Ubuntu安装pytorch3d的最便捷方法【原创】
Ubuntu安装pytorch3d的最便捷方法
生成模型之VAE模型及pytorch实现
VAE(变分自编码器)是一种生成模型,结合了自编码器和概率图模型的思想。它通过学习数据的潜在分布,可以生成新的数据样本。VAE通过将输入数据映射到潜在空间中的分布,并在训练过程中最大化数据与潜在变量之间的条件概率来实现。其关键思想在于编码器将输入数据编码成潜在分布的参数,解码器则从这个分布中采样生成新的数据。这种生成方式不仅能够生成新的数据,还能够在潜在空间中进行插值和操作,提供了强大的特征学习和数据生成能力
UOS的ARM机编译QT5.14.2记录
我需要的qt版本是Qt5.14.2,所以选择编译Qt5.14.2源码;几个月前尝试了编译一次,当时编译过程中出现了报错,当时时间很紧最后安装的默认版本来使用,最近有时间重新进行了一次编译,历经3个星期(4G的内存)终于解决了各种坑,编译成功了,现在将编译过程中遇见的一些坑记录一下,方便日后能记得这一次可恶的编译过程,如有描述欠缺的地方,还希望各位大佬给点意见指导指导🙏。
PyTorch实现VAE
转载自:https://shenxiaohai.me/2018/10/20/pytorch-tutorial-advanced-02/,本文只做个人记录学习使用,版权归原作者所有。 # 包 import os import torch import torch.nn as nn import torch.nn.functional as F import torchvision from to...
嵌入式SPI总线抽象设计:跨平台驱动与分层解耦实践
SPI(串行外设接口)是嵌入式系统中应用最广泛的同步串行通信协议,其核心价值在于高吞吐、低开销与硬件简洁性。其工作原理基于主从架构、全双工/半双工时序及片选(CS)控制,依赖CPOL/CPHA组合定义四种标准模式。在工程实践中,SPI常面临硬件资源受限、多外设共用总线、MCU平台迁移等挑战,导致驱动复用率低、维护成本高。通过结构体+函数指针实现的分层抽象——将物理总线、协议适配与设备驱动解耦,可显著提升代码可移植性与扩展性。该方法天然支持硬件SPI与GPIO模拟SPI双模式切换,并已在STM32等主流MCU
CHI里的Error handling机制
本文讲解了CHI里的Error handling机制。
pytorch实现VAE
一、VAE的具体结构 二、VAE的pytorch实现 1加载并规范化MNIST import相关类: from __future__ import print_function import argparse import torch import torch.utils.data import torch.nn as nn import torch.opti
手把手教你学Simulink--移动机器人多轮协同场景实例:基于Simulink的双轮差速PMSM轮毂电机协同驱动仿真
本文介绍了基于Simulink的双轮差速PMSM轮毂电机协同驱动仿真系统。针对移动机器人存在的电机参数不一致、负载分配不均等问题,提出主从同步+力矩补偿的协同控制策略。通过搭建包含运动学模型、PMSM电机模型和矢量控制器的仿真系统,实现了速度同步误差<0.005m/s、轨迹跟踪误差<0.8cm、能耗降低12.5%的优化效果。文章详细阐述了建模步骤、核心算法实现和性能验证,为移动机器人动力系统设计提供了实用参考方案。
VAE模型——pytorch实现
【代码】VAE模型——pytorch实现。
YOLO11 Backbone改进:二值化、三值化权重实战(一)
本文介绍了二值化/三值化神经网络的基本概念、优势挑战及应用场景。二值化网络将权重限制为±1,三值化则增加0值,显著减少模型存储需求和计算复杂度。虽然存在精度下降等挑战,但通过技术改进已能在移动设备、自动驾驶等领域应用。文章分析了YOLO11中适合量化的层,并详细阐述了二值化权重原理及Straight-Through Estimator等关键技术。二值化/三值化神经网络为资源受限设备提供了高效的深度学习解决方案。
ZYNQ通过AXI DMA实现PL发送连续大量数据到PS DDR
方案二是在PS端的MPU配置中,将DMA缓冲区所在的内存区域标记为“不缓存”(Device或Strongly Ordered类型),但这样CPU访问这些内存区的速度会大幅降低,需要根据实时性和数据正确性的需求做权衡。更妙的是,描述符链表可以做成一个环状队列,放在DDR里让DMA循环取走,从而实现持续不断的“流式”传输。用FPGA实现FFT硬件加速的系统中也是如此:PS向PL提交待处理的FFT数据,PL硬件加速计算后,DMA把结果写回DDR,全程CPU几乎只做配置调度,大量数据吞吐留给了硬件通道。
PyTorch-VAE 项目推荐
PyTorch-VAE 项目推荐 1. 项目基础介绍和主要编程语言 项目名称: PyTorch-VAE 项目链接: https://github.com/AntixK/PyTorch-VAE 主要编程语言: Python PyTorch-VAE 是一个专注于实现和研究变分自编码器(Variational Autoencoders, VAE)的开源项目。该项目使用 PyTorch 框架,旨在为研究人...
Devexpress16.2.6破解工具
Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具
Pytorch入门之VAE
这里谈谈对于变分自编码器(Variational auto-encoder)即VAE的实现。 1. 稀疏编码 首先介绍一下“稀疏编码”这一概念。 早期学者在黑白风景照片中可以提取到许多16*16像素的图像碎片。而这些图像碎片几乎都可由64种正交的边组合得到。而且组合出一张碎片所需的边的数目很少,即稀疏的。同时在音频中大多数声音也可由几种基本结构组合得到。这其实就是特征的稀...
老版QQ原生表情gif动态
这是老版的QQ表情,不过全是动态的的,Windows照片查看器是不会动的,可以右击用浏览器打开查看,再说一遍是老版的,只是分享给宁愿用老版也要动态的人。
TMS_WebGMaps_1.9.8.0_Full_Source
TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder
VAE的Pytorch实现和可视化
VAE pytorch代码实现和可视化
jre9下载 jdk9
(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】
PyTorch-VAE 项目安装和配置指南
### 项目介绍 PyTorch-VAE 是一个开源项目,旨在提供一系列在 PyTorch 框架下实现的变分自编码器(Variational Autoencoders, VAE)模型。该项目的主要目标是提供一个简单且可复现的示例,帮助用户理解和实现各种 VAE 模型。所有模型都基于 CelebA 数据集进行训练,以确保一致性和可比性。 ### 主要编程语言 该项目主要使用 Python 编程语言...
VAE家族全攻略:通俗讲解+PyTorch代码实现
摘要:本文通过画家画猫的通俗案例形象解释了VAE(变分自编码器)家族的工作原理:基础VAE学习数据分布生成新样本,β-VAE实现特征解耦,CVAE支持条件生成,VQ-VAE采用离散编码提高生成质量。随后详细解析了各模型的数学原理,并以MNIST手写数字生成为例,对比了VAE、β-VAE和CVAE的生成效果。实验结果表明,β-VAE特征更独立,CVAE可精准控制生成内容,而VQ-VAE生成质量更高但训练复杂。文章还分析了各模型的优缺点及适用场景,并与GAN进行了对比,指出VAE家族在训练稳定性、概率解释等方面
CADA-VAE-PyTorch 项目教程
CADA-VAE-PyTorch 项目教程 项目介绍 CADA-VAE-PyTorch 是一个基于 PyTorch 的开源项目,实现了论文 "Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders"(CVPR 2019)中的算法。该项目通过对齐的变分自编码器(VAE)来实现广义的零...
使用Pytorch从零开始构建VAE
现在,我们创建一个简单的 VAE,它具有完全连接的编码器和解码器。在编码器中,均值 (μ) 和方差 (σ²) 向量是我们的变分表示向量(大小=200)。) 将输入数据转换为一个变分表示向量 (顾名思义),该向量的元素表示输入数据分布的不同属性。在这篇博文中,我们仅关注利用 Pytorch 实现一个简单的VAE,在MNIST上进行训练,并对其隐表示进行可视化。这些连续向量定义了我们的潜在空间分布,使我们能够在 VAE 中对图像进行采样。) 中,输入数据的信息被映射到一个固定的隐表示。相反,变分自编码器 (
BERT4Rec-VAE-Pytorch 项目教程
BERT4Rec-VAE-Pytorch 项目教程 项目介绍 BERT4Rec-VAE-Pytorch 是一个基于 Pytorch 的开源项目,实现了 BERT4Rec 和 Netflix VAE 模型。该项目允许用户在 MovieLens-1m 和 MovieLens-20m 数据集上训练这些模型。BERT4Rec 是一种用于序列推荐的 BERT 模型,而 Netflix VAE 是一种用于协同...
3370



被折叠的 条评论
为什么被折叠?



