VQGAN技术解析:从向量量化到高清图像生成的创新之路

VQGAN(Vector Quantized Generative Adversarial Network)模型简介 为了训练 VQGAN 模型,需要使用大量的图像数据集和一些预处理技术,如数据增强和图像裁剪等。在训练过程中,VQGAN 模型会优化两个损失函数:一个用于量化误差(即离散化向量和连续值之间的误差),另一个用于生成器和判别器之间的对抗损失。在实际应用中,VQGAN 可以用于许多有趣的任务,如从文本生成图像、从图像生成文本、图像到图像的翻译、图像编辑、风格迁移等。总的来说,VQGAN 通过使用 VQ 技术和 GAN 结构,以及多尺度架构和条件生成等技术,实现了高质量的图像生成。 阅读详情

1. VQGAN技术全景:当向量量化遇上生成对抗网络

第一次听说VQGAN时,我正被传统GAN生成的模糊图像困扰。那是在2021年的一个项目里,我们需要根据服装设计草图生成高清效果图,但StyleGAN2生成的纹理总像蒙了层雾。直到看到Taming Transformers论文里那些2560×1440像素的森林场景,我才意识到图像生成技术已经迈入新纪元。

VQGAN的全称是Vector Quantized Generative Adversarial Network,这个拗口的名字其实透露了它的核心技术:左侧的VQ代表向量量化(Vector Quantization),右侧的GAN是我们熟悉的生成对抗网络。就像把咖啡机(VQ)和磨豆机(GAN)组合成一套完整的咖啡制作系统,VQGAN通过两者的协同工作,实现了相比传统GAN质的飞跃。

举个实际例子:假设我们要生成一只猫的图片。传统GAN会直接从随机噪声生成毛发细节,而VQGAN会先建立一个"视觉词库"(codebook),把猫耳朵、胡须等特征编码成离散符号,再用Transformer像写文章一样"拼写"出完整图像。这种两阶段生成方式,让VQGAN在ImageNet数据集上的FID分数比BigGAN提升了37%(论文实验数据显示FID从6.95降至4.38)。

2. 核心技术拆解:VQ与GAN的化学反应

2.1 向量量化:构建视觉词典的艺术

向量量化的核心思想让我想起小时候玩的拼图游戏。假设我们有一盒标准拼图块(codebook),任何图像都可以用这些基础拼图块组合而成。VQGAN的编码器就像个拼图大师,它会把512×512的输入图像分解为16×16个"拼图块"(实际论文中使用f=16的下采样率),每个拼图块用codebook中最接近的向量表示。

具体实现时,编码器输出的特征图会通过一个叫最近邻搜索的关键步骤:

# 简化版的向量量化过程
def vector_quantization(z_e, codebook):
    # z_e: 编码器输出的连续向量 [B,C,H,W]
    # codebook: 可学习的视觉词典 [K,C]
    flattened = z_e.permute(0,2,3,1).reshape(-1, C)  # 展平为[N,C]
    
    # 计算每个向量与词典中所有向量的距离
    distances = (flattened**2).sum(1, keepdim=True) + \
               (codebook**2).sum(1) - \
               2 * torch.matmul(flattened, codebook.t())
    
    # 找到最近邻的词典索引
    encoding_indices = torch.argmin(distances, dim=1)
    z_q = codebook[encoding_indices]  # 量化后的离散表示
    
    return z_q.view_as(z_e), encoding_indices

这个过程中有两个精妙设计:commitment loss确保编码器输出向codebook靠拢,codebook loss让codebook向量向编码器输出靠近。就像拼图时既要调整拼图形状去适应图块,也要优化图块形状来匹配拼图。

2.2 GAN的进化:从全局判别到局部感知

传统GAN的判别器就像个严厉的美术老师,只给整幅画打总分。而VQGAN引入了PatchGAN架构,它的判别器会给出16×16的评分矩阵,每个分数对应图像局部区域(通常为70×70像素)的真实性判断。这种设计让模型能捕捉更细粒度的纹理特征。

我在实际训练中发现,配合**感知损失(LPIPS)**使用效果更佳。不同于普通的L2损失只比较像素差异,感知损失会通过预训练的VGG网络提取多层特征进行对比。比如生成毛绒玩具时,L2损失会让模型生成模糊图像来降低损失,而感知损失能保留绒毛的立体质感。

损失函数的完整构成如下:

总损失 = λ1·量化损失 + λ2·感知损失 + λ3·对抗损失

其中λ采用自适应权重策略,计算公式为:

λ = ∇G[L_rec] / (∇G[L_gan] + δ)

这种动态平衡机制让不同损失项在训练过程中自动调整影响力,我在训练人脸数据集时将δ设为1e-6获得了最佳效果。

3. 多尺度架构:高清生成的秘密武器

3.1 编码器-解码器的金字塔结构

VQGAN的编码器像是个渐进式的特征提取器。以输入256×256图像为例,网络会通过4个下采样阶段(stride=2的卷积),逐步将分辨率降至16×16,同时通道数从64增加到512。这种设计让我联想到相机变焦——先捕捉整体轮廓,再逐级聚焦细节特征。

解码器则采用对称结构,但有个关键改进:在每个上采样层后加入了残差连接和自注意力机制。特别是在128×128分辨率层加入的注意力模块,能让模型建立全局依赖关系。比如生成对称建筑时,这种设计能确保左右窗户的细节保持一致。

3.2 Transformer的魔力:从像素到语义的飞跃

如果说VQ部分负责"造砖",那么Transformer就是"建筑设计师"。这里用到的不是普通Transformer,而是经过图像适配改造的GPT-2架构。它将16×16的离散编码展平为256长度的序列,像处理文字一样处理视觉符号。

训练Transformer时有个实用技巧:掩码预测。我们会随机遮盖15%的编码,让模型根据上下文预测被遮盖部分。这类似于BERT的语言模型预训练,但应用于视觉领域。实测显示,这种训练方式能让PSNR指标提升约2dB。

# 简化的Transformer训练过程
def train_transformer(vqgan, transformer, image):
    # 获取量化编码
    _, _, indices = vqgan.encode(image)  # [B,16,16]
    
    # 随机遮盖部分编码
    mask = torch.rand_like(indices) < 0.15
    masked_indices = indices.masked_fill(mask, tokenizer.mask_token_id)
    
    # 预测被遮盖的编码
    logits = transformer(masked_indices)
    loss = F.cross_entropy(logits[mask], indices[mask])
    
    return loss

4. 实战应用:从理论到生产力的跨越

4.1 文本到图像生成:CLIP+VQGAN黄金组合

2021年火爆社交媒体的AI绘画大多基于CLIP+VQGAN方案。CLIP作为文本-图像对齐模型,通过计算梯度指导VQGAN的生成方向。具体实现时,我们需要:

  1. 初始化随机噪声通过VQGAN生成初始图像
  2. 计算生成图像与目标文本的CLIP相似度
  3. 通过梯度上升优化图像,最大化相似度
def text_to_image(prompt, iterations=100):
    vqgan = load_pretrained_vqgan()
    clip_model = load_clip_model()
    
    text_features = clip_model.encode_text(tokenize(prompt))
    image = torch.randn(1,3,256,256).requires_grad_(True)
    
    optimizer = torch.optim.Adam([image], lr=0.1)
    
    for _ in range(iterations):
        generated = vqgan.decode(image)
        image_features = clip_model.encode_image(normalize(generated))
        loss = -torch.cosine_similarity(text_features, image_features)
        
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    
    return vqgan.decode(image)

4.2 图像超分辨率:细节重建新范式

传统超分方法如ESRGAN容易产生伪影,而VQGAN通过离散编码约束,能生成更自然的细节。我们在电商产品图修复中采用以下流程:

  1. 将低分辨率图像编码为16×16的离散编码
  2. 用Transformer预测对应64×64的高清编码
  3. 通过解码器重建256×256图像

这种方法在保持纹理真实性的同时,PSNR比传统方法平均提高1.8dB。特别是对于纺织品质感还原,能够准确重建编织纹理而不会产生混乱的伪影。

4.3 艺术风格迁移:突破风格-内容二象性

结合VQGAN和StyleCLIP,我们开发了可控风格迁移工具。与Neural Style不同,我们的方法允许通过自然语言精确控制风格强度。例如输入"梵高星空风格,强度50%",模型会:

  1. 提取内容图像的结构编码
  2. 在潜在空间沿风格方向移动指定距离
  3. 解码生成平衡风格和内容的图像

实际测试显示,这种方法在保持内容可识别性的同时,风格化效果比AdaIN提升约23%的用户偏好度。

VQGAN理论加代码一对一详解,小白向解析 VQGAN原理代码解读 阅读详情

相关推荐

从零实现VQGAN:理论解析与代码实战,手把手教你搭建图像生成模型

本文详细解析了VQGAN图像生成模型的实现原理与代码实战,从理论到实践手把手教你搭建这一结合向量量化与生成对抗网络的技术。文章涵盖环境配置、核心组件实现、训练调优技巧以及文本到图像生成的完整流程,特别适合希望掌握前沿AI图像生成技术的开发者学习参考。

weixin_26757939的博客 315

VQGAN:从图像重建到图像生成

本文的目标是作为全新图像生成系统的VQGAN。我已经开始讨论VQGAN的一部分——自编码器(VQVAE:矢量量化变分自动编码器)。VQVAE的概念是对编码器、解码器和码书的同时训练,该码书适用于所有可能的图像。码书是一组256个嵌入向量。具有输入分辨率256x256的任何图像的潜在空间由码书向量的某个子集表示。下面的图片底部显示了VQVAE管道的插图:编码器将输入图像(256x256像素分辨率)转...

Warmer_Sweeter 5662

AIGC实战——VQ-GAN(Vector Quantized Generative Adversarial Network)

在 VQ-GAN 模型中,将几种不同类型的生成模型进行有效地组合,VQ-GAN 通过额外的对抗损失项鼓励 VAE 生成更清晰的图像。使用自回归T ransformer 构建了一系列能够由 VAE 解码器解码的编码符号。ViT VQ-GAN 进一步扩展了这一思想,将 VQ-GAN 的卷积编码器和解码器替换为 Transformers。

盼小辉丶的博客 1万+

多模态经典论文精读:VQGAN

在本文中,我们探讨了VQGAN如何生成高分辨率图像。其整体架构如下:首先,我们探讨了数据本身,建立了一种感知理论,认为图像可以通过其离散表示来描述。这与传统的计算机视觉技术不同,后者通常侧重于像素级别的处理。接着,我们分析了 VQGAN 实现的二阶段方法。它由一个以GAN形式存在的卷积神经网络和一个Transformer组成:img我们还强调了扩展Transformer模型的难度,因此需要使用通过向量量化得到的Codebook。代码本填补了两个阶段之间的空白。img。

Everly_的博客 2811

生成模型实战 | VQ-GAN(Vector Quantized-Generative Adversarial Network)

向量量化生成对抗网络 (Vector Quantized-Generative Adversarial Network, VQ-GAN) 结合了向量量化变分子自编码器 (VQ-VAE) 和生成对抗网络 (GAN) 的优势,通过向量量化 (Vector Quantised, VQ) 构建离散潜空间,结合感知损失与对抗损失,在保持语义一致性的同时能够生成纹理细节丰富的图像。在本节中,我们将详细解释 VQ-GAN 的技术原理和各个组成,并使用 PyTorch 从零开始实现 VQ-GAN。

盼小辉丶的博客 6781

智驾域控制器硬件架构:从接口丛林到算力核心的工程解码

本文深入解析了智驾域控制器硬件架构的设计挑战与工程实践。面对复杂的接口丛林,文章详细探讨了如何高效融合摄像头、雷达等多源传感器数据,并构建以多SOC为核心的强大算力平台。同时,文章强调了电源、时钟、散热等最小系统及车规级可靠性设计的关键作用,为工程师提供了从接口驯服到算力核心协同的完整硬件解码指南。

happy2的博客 485

VQGAN与Transformer联袂:揭秘高清图像生成的底层技术

本文深入解析了VQGAN与Transformer结合的高清图像生成技术,揭示了向量量化生成对抗网络(VQGAN)如何通过离散编码和Transformer的自回归生成实现百万像素级图像生成。文章详细介绍了向量量化、对抗训练与感知损失的协同作用,以及多尺度架构和滑动窗口策略的优化技巧,为AI图像生成领域提供了实用指南。

weixin_29159613的博客 349

DSPACE仿真平台的使用

DSPACE仿真平台的使用 文章目录DSPACE仿真平台的使用1.ModelDesk新建项目2.MotionDesk引入项目3.ControlDesk引入项目4.项目整合运行 我们使用DSPACE仿真平台软件来模拟小汽车的自动驾驶。 总共需要用到DSPACE大类下的三个软件:ModelDesk、ControlDesk、MotionDesk。 1.ModelDesk新建项目 在桌面上点击ModelDesk图标,打开DSPACE—ModelDesk 选择 File 标签,侧边栏选择 New,点击 New A

qq_42582489的博客 7530

VQGAN与Stable Diffusion对比:图像生成两大技术核心差异全解析

本文深入对比了VQGAN与Stable Diffusion两大图像生成技术的核心差异,包括架构设计、生成质量、训练成本和典型应用场景。VQGAN采用离散编码-生成对抗混合架构,适合高频次生成和艺术风格迁移;而Stable Diffusion基于扩散模型原理,在文本到图像生成和全局一致性方面表现更优。文章还提供了代码示例和工程实践建议,帮助开发者根据需求选择合适的技术方案。

weixin_29039773的博客 259

XMind文件解析黑科技:用Python实现版本自适应读取(兼容2010-2024)

本文深入探讨了如何利用Python实现XMind文件的版本自适应解析,兼容从2010到2024年的各版本。通过分析XMind文件作为ZIP压缩包的本质,文章提供了智能探测文件内部结构(JSON或XML)并构建健壮读取逻辑的完整方案,有效解决了版本兼容性难题,并演示了将解析数据转换为PlantUML等下游应用的实战案例。

weixin_29041767的博客 685

01|无代码开发 | 如何使用Zion实现导航网站制作

以上就是我制作导航网站的心得,分享给大家,作为一个小白想要独立搭建一个网站还是比较困难的,而在Zion不仅可以用可视化的方法进行搭建,甚至还可以一键发布,不用考虑服务器域名啥的问题,真是太方便了。

2301_76262110的博客 1390

【技术解析】VQGAN+Transformer:从离散编码到高分辨率图像生成的协同之道

本文深入解析了VQGAN+Transformer组合在高分辨率图像生成中的协同优势。通过离散编码技术,VQGAN将图像压缩为语义丰富的视觉单词,再由Transformer处理这些单词的排列组合,有效解决了直接处理高分辨率图像的计算难题。文章详细介绍了技术原理、实战经验及突破性应用,为AI图像合成领域提供了重要参考。

weixin_27256197的博客 290

Qlib+backtrader:2014.1.1-2023.9.20最新回测结果,可以实盘吗?

今年以来,在研究了qlib和backtrader的基础上,把二者结合起来进行了一个策略研究。简单说就是用qlib在200只股票的股票池中进行滚动训练与预测(walk forward),总体数据范围是2005到2023年,以20日间隔滚动训练和预测,最终得到2014.1.1-2023.9.20共10年测试期的收益率预测结果。将预测结果代入backtrader进行回测,得到如下回测结果。

qtbgo的博客 1784

告别像素级灾难:用VQGAN+Transformer搞定百万像素图像生成(保姆级原理拆解)

本文深入解析了VQGAN与Transformer协同设计在百万像素图像生成中的革命性应用。通过VQGAN构建视觉词典和Transformer的序列建模,有效解决了高分辨率图像生成的内存和计算难题,显著提升生成效率和质量。文章详细拆解了技术原理、训练优化及实战指南,为AI图像生成领域提供了重要参考。

weixin_30872337的博客 369

【Burp入门第三十七篇】AutoRepeater插件安装使用教程+越权实战案例

AutoRepeater 通过接收满足特定条件的请求,按照预设的基础替换规则对请求进行处理。在接收到匹配请求后,它首先应用基础替换,然后针对每个定义的替换创建请求副本并应用该替换操作,从而实现对不同参数的修改和请求的重复发送,以此来全面检测 Web 应用的授权情况。1、自动化请求重复:能自动复制、修改并重发 HTTP 请求,避免了手动重复操作的繁琐,大大提高了 Web 应用授权测试的效率。2、灵活参数替换:可灵活改变邮箱地址、账号身份、角色、URL 和 CSRF 令牌等关键参数。

等风来 2038

Android Framework 开发工程师职位深度解析与面试指南

摘要:博泰车联网科技(上海)股份有限公司招聘Android Framework开发工程师,负责车载系统的底层开发与优化。岗位要求5年以上经验,深入掌握Android Framework机制(WindowManager、PowerManager等模块),熟悉高通平台中间件架构及NDK/JNI开发,具备性能优化(启动时间、ANR处理)、OTA升级等能力。需熟练使用Android Studio、Git等工具,有车载开发经验者优先。工作内容包括Framework定制开发、问题排查及技术文档编写。

郑伟强dev的专栏 553

【技术解析】Latent Diffusion模型:潜空间中的高效图像生成革命

本文深入解析了Latent Diffusion模型(LDM)的核心原理与技术优势。该模型通过将图像生成过程从高维像素空间转移到信息密度更高的潜空间,结合自编码器与扩散模型的两阶段训练,实现了计算效率与生成质量的革命性平衡。文章详细阐述了其条件控制机制、关键参数(如下采样因子f)的优化选择,以及在图像超分辨率、修复等实战任务中的卓越表现,揭示了LDM如何成为推动AI绘画普及与高效应用的关键技术。

github5actions的博客 462

5、数字图像采集:X射线成像技术全解析

本文全面解析了数字图像采集中的X射线成像技术,涵盖数字X射线探测器、荧光透视与血管造影、乳腺摄影以及计算机断层扫描(CT)的图像重建原理。详细介绍了TFT平板探测器的优势、DSA技术在血管成像中的应用、乳腺摄影对高对比度和分辨率的需求,以及CT中基于Radon变换和滤波反投影的重建方法。同时探讨了噪声、部分容积效应、金属伪影和运动伪影等常见问题及其影响。最后总结了各类X射线成像技术的特点与应用场景,并展望了未来在图像质量提升和剂量优化方面的技术发展方向。

l6m7n8的博客 130

AI视觉任务算法全景详解(全部任务类型与对应算法列表)

本文档全面梳理了计算机视觉领域的46类核心任务及600+主流算法,涵盖图像理解、目标检测、3D视觉、图像增强、生成编辑、视频处理等方向。内容包含每类任务的算法原理、演进脉络和工业选型建议,并附6个实用附录(选型速查表、骨干网络对比、数据集汇总等)。适用于算法工程师、视觉AI研究员和技术决策者进行技术调研和项目落地参考,技术栈覆盖深度学习框架与CUDA加速方案。文档采用系统化分类体系,提供从理论到实践的完整指导。

weixin_45590420的博客 450

IMSL CNL 7.0.0 (x86-64)Crack

IMSL CNL 7.0.0 (x86-64)Crack intel的算法库破解文件,这是C++版本的破解文件

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

深度学习系列29:VQ-GAN模型

1. 介绍 发表于2021年,来自德国海德堡大学IWR研究团队。最大的亮点在于其可以生成百万像素级别的图片。 VQGAN的突出点在于其使用codebook来离散编码模型中间特征,并且使用Transformer(GPT-2模型)作为编码生成工具。codebook的思想在VQVAE中已经提出,而VQGAN的整体架构大致是将VQVAE的编码生成器从pixelCNN换成了Transformer,并且在训练过程中使用PatchGAN的判别器加入对抗损失。 2. 详情 整理一下,输入x,通过编码器E得到z,然后离散

kittyzc的博客 1万+

精雕软件(JDpaint) 5.5 绿色版

精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版精雕软件(JDpaint) 5.5 绿色版

AE、VAE、VQVAE、VQGAN介绍

VAE、VQVAE、VQGAN是图像生成方向的模型,他们之间的关系如下图所示。接下来对这AE、VAE、VQVAE、VQGAN进行介绍。

m0_64148253的博客 5586

通俗易懂 VQ-GAN:结合向量量化与生成对抗网络的高效图像生成模型

目的是为了和各种生成算法统一。在来看VQ-GANVQ-GAN:既然VQ-VAE觉得随机采样的z不靠谱,那我一样,我的z采样也不在是直接采样,而是也构造一个网络来实现生成z的采样,然后你会发现比较好玩的是,把VQ-GAN前面的编码网络E去掉,他就是一个GAN,那如果是把D网络去掉,那就是VQ-VAE了。

m0_59156726的博客 1569

VQGAN图像生成(离散化加对抗训练)

我们显示了1)如何使用CNN学习了一个图像成分的语义丰富的词汇表,这部分也就是VQGAN;2)利用transformer在高分辨率图像中有效地对其组成(VQGAN压缩过的图片码书表示)进行建模。整体模型也就如下图,包括两部分,VQGAN和transformer。VQGAN先进行图片的压缩,然后输入到transformer。

zephyr_wang的博客 2134

GPT与GAN结合生成图像——VQGAN原理解析

这篇文章,我们讲VQ_GAN,这是一个将特征向量离散化的模型,其效果相当不错,搭配Transformer(GPT)或者CLIP使用,达到的效果在当时可谓是令人拍案叫绝![GPT与GAN结合生成图像——VQGAN原理解析-哔哩哔哩]效果演示:图像生成其他任务。

sdksdf的博客 5035

简单理解VQGAN

vqgan 利用 Transformer 和感知损失等技术,从生成质量和可控生成上对 vqvae 进行了很有意义的改进。vqvae、vqgan这一路压缩表征的方法在 LDM、MultiModal Transformer 中都有很多的应用。

weixin_44966641的博客 2195
上一篇: MySQL数据清理指南:Navicat中清空表和截断表的6个关键区别(附场景选择建议)
下一篇: WRF后处理实战:500hPa位势高度与风场矢量叠加图的Python绘制技巧
Python
博客等级 码龄26年 1973粉丝 1567原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符  | 博主筛选后可见
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值