VQ-VAE和VAE 的区别是什么？

已于 2025-03-20 23:27:22 修改
阅读量312 收藏
点赞数 4
分类专栏： GAN Diffusion 文章标签： 人工智能
于 2024-12-15 20:01:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/vivi_cin/article/details/144491622
版权

Variational Auto Encoder（变分自编码器） 

第一行所展示的就是普通的VAE,它的核心是通过encoder和decoder，将像素空间的图像压缩到一个提取了核心特征的隐变量向量空间。VQ-VAE的思想是，即使VAE中压缩的这个隐变量中的向量提取了图片中的核心特征信息，但是这些信息仍然可能存在冗余，因此再次提取这个隐变量向量的核心部分特征。 

还有一个写的不错的帖子:

(45 封私信) 为什么vae效果不好，但vae+diffusion效果就好了？ - 知乎

VAE的流程:

多模态论文笔记——VQ-VAE和VQ-VAE-2
haopinglianlian的博客
12-21 2418
本文详细介绍VQ-VAE和VQ-VAE-2的原理和训练过程，为后面的dVAE在DALLE中的使用打下坚实的基础。
【VQ-VAE-2论文精读】Generating Diverse High-Fidelity Images with VQ-VAE-2
zik的博客
04-29 2308
发表于2019年的NeurIPS。VQVAE的重要性就不谈了，学习latent diffusion model必须得了解这个。NIPS（NeurIPS），全称神经信息处理系统大会(Conference and Workshop on Neural Information Processing Systems)，是一个关于机器学习和计算神经科学的国际会议。该会议固定在每年的12月举行,由NIPS基金会主办。NIPS是机器学习领域的顶级会议。
AE（自动编码器）、VAE（变分自动编码器）、VQ-VAE（向量量化变分自编码器） 的区别和联系？
Drug discovery
05-10 8697
这里主要谈一下他们的区别？
生成模型之VAE与VQ-VAE
m0_56214772的博客
03-23 6275
有关图像处理的课程作业需要学习一篇论文，此论文中作者使用了VQ-VAE模型对舞蹈动作进行编码。因此，对相关知识略作整理以供之后查找。AE、VAE和VQ-VAE可以统一为latent code的概率分布设计不一样，AEr通过网络学习得到任意概率分布，VAE设计为正态分布，VQVAE设计为codebook的离散分布。
什么是VAE与VQ-VAE
zcyzcyjava的博客
08-27 5819
VQ-VAE就是使用encoder将图像编码，然后使用decoder将图像解码，其中encoder和decoder共享一个code book，编码器将图像x编码成E（x），之后这个向量根据它和标准的向量之间的距离进行量化，然后就是讲E（x）转化成距离它最近的标准编码，并且将这种标准编码给decoder 训练VQ-VAE编码器解码器生成图像一个VAE模型包括三个部分：后验分布（Posterior），先验分布（Prior），以及似然（Likelihood）。...
图像生成发展起源：从VAE、扩散模型DDPM、DDIM到DETR、ViT、Swin transformer
热门推荐
结构之法 算法之道
04-30 3万+
2018年我写过一篇博客，叫：《》，该文相当于梳理了2019年之前CV领域的典型视觉模型，比如随着2019 CenterNet的发布，特别是2020发布的DETR(End-to-End Object Detection with Transformers)之后，自此CV迎来了生成式下的多模态时代但看这些模型接二连三的横空出世，都不用说最后爆火的GPT4，便可知不少CV同学被卷的不行。
基于AE、VAE 和 VQ-VAE的图像生成
ZhengrongYue的博客
12-22 2084
基于AE、VAE 和 VQ-VAE的图像生成
vq-vae-pytorch:VQ-VAE实施pytorch
05-16
VQ-VAE 这是VQ-VAE的轻量级（200 loc）实现。 用于减少计算到嵌入距离所需的内存。 引入了一个敏感度术语，以使所有嵌入都使用。 从距离到嵌入的时间减去了一段时间以来未使用的灵敏度。 在找到最小距离之前。 ...
在PyTorch中使用VQ-VAE-2生成各种高保真图像的实现-Python开发
05-25
vq-vae-2-pytorch在PyTorch中使用VQ-VAE-2生成各种高保真图像的实现必需的Python> = 3.6 PyTorch> = 1.1 lmdb（用于存储提取的代码）VQ-VAE pretra vq-vae-2的检查点-pytorch在PyTorch更新2020-06-01中使用VQ-VAE-2...
ss-vq-vae:自我监督的VQ-VAE，可进行一键式音乐风格转换
05-06
这是OndřejCífka，Alexey Ozerov，UmutŞimşekli和GaëlRichard撰写的ICASSP 2021论文“一键式音乐风格转移的自我监督VQ-VAE”的代码存储库。 版权所有2020 InterDigital R＆D和TélécomParis。 链接 [ ] 带有...
浅谈AE，VAE,VQ-VAE编码器的输出
JesonNb的博客
11-21 288
在变分自编码器（VAE）中，编码器的输出是由两个向量组成的元组（tuple），分别表示潜在变量的均值向量（mean vector）和方差向量（variance vector）。在向量量化自编码器（VQ-VAE）中，编码器的输出是一个离散的编码向量，将输入数据映射到一个离散的码书（codebook）中的最近邻向量。总的来说，在自编码器架构中，编码器的输出是对输入数据进行编码、表示或压缩的向量，在不同的架构中，这些向量的具体形式和用途可能会有所不同。在不同的自编码器架构中，编码器的输出会有所不同。
AI艺术的背后：详解文本生成图像模型【基于 VQ-VAE】
Pain is inevitable but suffering is optional.
09-19 3888
详解文本生成图像模型
Neural Discrete Representation Learning (VQ-VAE) 简介
icylling的专栏
12-15 3664
Vector QuantisedVariational AutoEncoder (VQ-VAE)是VAE的变种，其隐含变量是离散的。
vqvae详细解释
artistkeepmonkey的博客
10-28 1万+
模型综述 # VQ-VAE（Vector Quantised - Variational AutoEncoder）首先出现在论《Neural Discrete Representation Learning》 作为一个自编码器，VQ-VAE的一个明显特征是它编码出的编码向量是离散的，换句话说，它最后得到的编码向量的每个元素都是一个整数，这也就是“Quantised”的含义，我们可以称之为“量子化”（跟量子力学的“量子”一样，都包含离散化的意思）。 明明整个模型都是连续的、可导的，但最终得到的编码向量却是离散
VAE-Tacotron-2/1 以及 VQ-VAE的原理探讨与实现.
ruclion的专栏
09-18 1787
Tacotron （yanggeng1995） An implementation of VAE Tacotron speech synthesis in TensorFlow. (https://arxiv.org/abs/1812.04342) 1.https://github.com/yanggeng1995/vae_tacotron. 2.requirement.txt都满足. 3...
Variational Auto-encoder(VAE)变分自编码器-Pytorch
weixin_30446613的博客
08-30 334
import os import torch import torch.nn as nn import torch.nn.functional as F import torchvision from torchvision import transforms from torchvision.utils import save_image # 配置GPU或...
VQ-VAE
qq_38284961的博客
08-12 6522
Generating Diverse High-Fidelity Images with VQ-VAE-2 摘要 本文主要研究VQ-VAE在大尺度图像生成器上的应用，我们改进了自回归的先验来生成比以前更加优秀的图片，本文使用的是简单的编码和解码器，他们的速度比较快，VQ-VAE需要一个在潜在空间自回归的模型，他的速度要快于像素空间回归， 多层次结构的VQ-VAE能够产生强大的先验，这样会...
【论文译文】VQVAE
a312863063的博客
09-08 1784
译文仅供参考！ 原文是pdf，想下载的话可以戳：http://www.gwylab.com/pdf/vqvae_chs.pdf
VAE与GAN的关系(1)
StreamRock的专栏
08-15 1万+
本文参考：Variational Inference: A Unified Framework of Generative Models and Some Revelations，原文：arXiv:1807.05936 文章有一个中文链接：https://www.paperweekly.site/papers/211 文章来自中山大学 数学学院 苏剑林。文中为两个生成模型建立了统一的框架，并提...
VAE 和 VQ-VAE 的区别是什么？
最新发布
05-28
VAE (Variational Autoencoder)和VQ-VAE(Vector Quantized Variational Autoencoder)是两种常见的自编码器模型，它们的区别如下： 引用: VAE是一种生成模型，它通过学习输入数据的分布模型来生成新数据。它是一个由编码器和解码器构成的神经网络，其中编码器将输入数据压缩成潜在空间的低维表示，解码器将该表示转换回原始数据的高维表示。通过在编码器和解码器之间添加一个额外的损失函数，VAE可以学习到数据潜在分布的连续表示。 引用: VQ-VAE是VAE的一种变体，它使用向量量化来代替VAE中的高斯假设。VQ-VAE将潜在空间划分成离散的向量区域，并通过训练编码器来将输入数据映射到最近的向量。这种方法可以保留数据的离散结构，并且可以更好地处理离散输出数据，例如文本和音频。VQ-VAE还引入了一种新的向量量化损失函数，该损失函数鼓励编码器将输入映射到不同的向量区域，以增加模型的多样性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值