论文笔记:VQGAN-CLIP:Open Domain Image Generationand Editing with Natural Language Guidance

VQGAN(Vector Quantized Generative Adversarial Network)模型简介 为了训练 VQGAN 模型,需要使用大量的图像数据集和一些预处理技术,如数据增强和图像裁剪等。在训练过程中,VQGAN 模型会优化两个损失函数:一个用于量化误差(即离散化向量和连续值之间的误差),另一个用于生成器和判别器之间的对抗损失。在实际应用中,VQGAN 可以用于许多有趣的任务,如从文本生成图像、从图像生成文本、图像到图像的翻译、图像编辑、风格迁移等。总的来说,VQGAN 通过使用 VQ 技术和 GAN 结构,以及多尺度架构和条件生成等技术,实现了高质量的图像生成。 阅读详情

论文:https://arxiv.org/abs/2204.08583

代码: GitHub - EleutherAI/vqgan-clip

摘要

从开放领域的文本提示中生成和编辑图像是一项具有挑战性的任务,到目前为止,需要昂贵的和经过专门训练的模型。我们为这两项任务展示了一种新的方法,它能够通过使用多模态编码器来指导图像的生成,从具有显著语义复杂性的文本提示中产生高视觉质量的图像,而无需任何训练。我们在各种任务上证明了使用CLIP来指导VQGAN产生的视觉质量比之前不太灵活的方法如minDALL-E、GLIDE和Open-Edit[26]更高。我们的代码可以在一个公共资源库中找到。

介绍

使用自由格式的文本来生成或操纵高质量的图像是一项具有挑战性的任务,需要在视觉和文本表征之间进行学习。在一个开放的领域背景下操纵图像是由开创性的Open-Edit首次提出的,它允许通过文本提示来改变图像的内容。这主要是通过语义上简单的转换(例如,把红苹果变成绿色)来完成的,不允许生成图像。不久之后,DALL-E和GLIDE被开发出来,它们都可以从任意的文本提示中进行生成(和绘画),但本身并不能实现图像操作。

在这项工作中,我们首次提出了语义图像生成和编辑的统一方法,利用预先训练的图像-文本联合编码器(本文指clip)来引导图像生成模型。我们的方法是通过使用多模态编码器来定义一个损失函数,评估(文本,图像)对的相似性,并反向传播到图像生成器的潜在空间。

我们迭代更新候选文本的生成,直到它与目标文本足够相似。使用我们的技术进行生成和编辑的区别仅仅是用特定的图像(用于编辑)或用随机噪声(用于生成)初始化生成器的问题。

我们的方法的一个显著优势是不需要额外的培训。只有一个预训练的图像生成器和一个图像-文本联合编码器是必要的,我们展示了几个重要的贡献,包括以下几点:

(1)对图像的生成和处理都有很高的视觉质量。

(2)文本和生成物之间的语义保真度高,特别是当语义上不可能的内容共同出现时。

(3)效率方面,我们的方法除了预训练的模型外,不需要额外的训练,每次推理只需要使用少量           的优化。

(4) 开放式开发和研究的价值。这项技术是公开开发的,开放合作是其在现实世界中迅速成功的           组成部分。非作者的人已经将我们的方法扩展到其他模式(如用音频代替文字)和商业应               用。

我们手稿的其余部分组织如下。在第2节中,我们讨论了我们的方法是如何工作的,从而形成了一个简单和容易应用的方法,用于组合多种模式的生成或操作。第3节展示了vqgan-clip在生成高质量和语义相关的图像方面的功效,随后在第4节展示了其卓越的操作能力。第5节通过消融验证了vqgan-clip在获得高质量图像和快速生成方面的设计选择,第6节讨论了资源使用和效率考虑。

由于我们的方法自2021年4月以来一直是公开的,我们能够在第7节展示外部团体的进一步验证。这种使用包括对其他模式的扩展,显示了我们方法的灵活性,以及对vqgan-clip的商业使用,证明其在处理开放域提示和图像方面的成功,达到了令人满意的程度。最后我们在第8节中得出结论。

我们的方法

 为了证明我们方法的有效性,我们使用VQGAN和CLIP作为预训练的模型来应用它,因此将我们的方法称为vqgan-clip。然而,我们强调,我们的方法并不是专门针对这两种模型的,随后的工作已经显示出成功,在我们的工作基础上使用其他模型,甚至其他模式。

我们从一个文本提示开始,使用GAN来迭代生成候选图像,每一步都使用CLIP来改进图像。我们通过把候选的嵌入和文本提示的嵌入之间的squared spherical distance作为损失函数来优化图像,并通过CLIP对GAN的图像的潜在向量表示进行区分,我们按照Oord、Vinyals和Kavukcuoglu将其称为 "Z-向量"。这个过程概述于图。

图1:图中显示了如何增加增量以稳定和改善优化。通过多种裁剪,每次生成图像都经过不同的随机增强应用于产生一个single source generation的平均损失。这改善了Z-vector的生成结果。

 

为了生成一个图像,"初始图像 "包含随机的像素值。重复优化过程以改变图像,直到输出图像逐渐改善,使其在语义上与目标文本相匹配。

我们也可以通过从要编辑的图像开始作为 "初始图像 "来编辑现有的图像。用于描述我们希望图像如何变化的文本提示与生成图像的文本提示相同,除了如何选择 "初始图像 "外,在生成和操作之间不存在结构上的变化。

我们使用Adam作为优化器,学习率为0.15,β=(0.9,0.999),在本文的实验中运行了400次迭代。

2.1  图像的离散潜在空间

与文本的自然离散性不同,图像空间本质上是连续的,而不是琐碎的离散化。之前的工作借用了矢量量化(VQ)的技术,通过用有限的学习嵌入集建立编码本词汇,用离散的潜在表征表示各种模式。给定一个词汇量为K、嵌入维度为nk的编码本,Z = {zi}Kk ∈Rnk。这是通过构建一个具有编码器E和解码器G的卷积自动编码器来应用于图像。一个输入图像x∈I首先被嵌入编码器z=E(x)。然后我们可以计算出矢量量化后的嵌入x为:

 然后我们可以通过词汇表multiply back,以进行重建。然后,我们可以在量化步骤上使用straight-through estimator,以便让CNN和编码本在端到端之间共同训练。我们使用流行的VQGAN模型进行本文的实验。

 2.2对比性的文本-图像模型

为了指导生成模型,我们需要一种方法来调整候选生成与指导文本的相似度。为了实现这一点,我们使用CLIP,一个通过使用对比学习训练的联合文本-图像编码器。我们使用CLIP独立编码文本提示和候选生成的图像,并测量嵌入之间的余弦相似度。然后,这种相似性被重塑为一种损失,我们可以使用梯度下降法来最小化。

2.3增强 

使用vqgan-clip的一个挑战是,如果在单一图像上计算,来自CLIP损失的梯度更新是相当嘈杂的。为了克服这个问题,我们将生成的候选图像进行多次修改,产生大量的增强图像。我们对候选图像进行随机裁剪,然后应用进一步的增强,如翻转、颜色抖动、噪声等。图像的大多数高水平语义特征对这些变化是相对不变的,所以对所有增强的图像进行CLIP损失的平均化可以减少每个更新步骤的差异。 随机裁剪有可能极大地改变图像的语义内容(例如裁剪掉一个重要的物体),但我们发现在实践中这并没有造成任何问题。对于本文提出的结果,我们使用了一个增强pipeline,包括:随机水平翻转、随机仿射投影、随机透视投影、随机颜色抖动,以及添加随机高斯噪声。

 

2.4隐向量的正则化

当使用无约束的VQGAN来生成图像时,我们发现输出往往是无结构的。添加增强有助于总体的连贯性,但最终的输出往往仍包含不需要的纹理斑块。为了解决这个问题,我们对z-vector采用了加权的L2正则化。

这就产生了一个正则化的损失函数,由公式给出:

 其中α是正则化权重。这就鼓励了表征的简约化,将VQGAN编码簿中的低信息编码至为零。在实践中,我们注意到正则化似乎改善了输出的一致性,并产生了一个更好的结构化图像。在生成过程中,我们将正则化项衰减了0.005。

2.5 附加组件

我们的方法是高度灵活的,可以根据使用情况和背景直接扩展,因为很容易在图像生成的中间步骤上整合额外的干预措施。使用我们框架的研究人员已经引入了一些额外的组件,从使用集合,到使用B'ezier曲线的潜在表征,到使用扰动来使结果对对手更加稳健。虽然它们没有在本文的主要实验中使用,但我们希望特别提请注意我们经常使用的两个。"提示性添加 "和屏蔽式图像编辑”。我们在这里对这两种方法进行了概述:

Prompt Addition: 我们发现,我们的用户经常对同时应用多个文本提示感兴趣。这可以通过同时计算针对多个目标文本的损失,并将结果相加来实现。

Masking: 图像生成和编辑中的一个常见技术是Masking,即提前确定图像的一部分是模型应该编辑的地方, vqgan-clip通过将不希望改变的潜在向量部分的梯度清零与Masking兼容。

 

 

语义图像生成

我们的方法的主要应用是用于从文本中生成图像。与以前关于这个主题的工作相比,我们不认为创造照片般逼真的图像或能使人相信它们是真实照片的图像是我们的主要目标。我们的重点是制作具有高视觉质量的图像,这些图像在语义上与自然语言提示有关,我们在本节中对此进行了演示。这实际上需要在提示可能要求艺术性或明确不现实的生成和编辑时放弃照片的现实主义。图2展示了一套经过松散策划的生成示例。由于vqgan-clip已经公开使用了近一年,我们有机会观察到人们在野外对vqganclip的实验和构建。

 

图2:vqgan-clip生成的例子和它们的文字提示。提示的选择是为了展示vqgan-clip能够产生的一系列视觉风格,包括古典艺术(g,i),现代艺术(l),素描(e),油画(a),以及其他由于空间原因没有包括在内的。 

3.1艺术印象

图2我们发现vqgan-clip能够唤起世界各地著名艺术家的艺术风格和主要艺术风格。以 "梵高风格的宇航员 "为特色,其背景唤起了 "星空 "和 "J.M.W.特纳的巴别塔",它借鉴了特纳的色调和光线的使用。 另一种方式是直接询问"[姓名]的画作 "或"[姓名]的艺术",图3可以看出这一点。

 

我们展示了以这种方式创作的六幅图像,它们来自不同地区、不同时期和不同艺术风格的艺术家。虽然这些图像往往缺乏凝聚力(很可能是由于 "一幅画 "作为提示的模糊性),但它们都明显地让人想起了有关的艺术家。虽然CLIP显然会发现这些图像在视觉上与艺术家的其他作品相似,但我们也发现,非基于CLIP的图像相似性方法可以可靠地识别这些图像与艺术家的作品视觉上相似。为了验证这一点,我们使用图3中的每一代图像查询了谷歌的反向图像搜索,在每一种情况下,目标艺术家的真实绘画都是最相似的图像。

 

 图3:著名艺术家的风格印象。第三方工具如谷歌的反向图像搜索表明,目标艺术家的真实画作在任何情况下都是视觉上最相似的图像。

3.2与其他方法的比较

在开放领域的图像生成方面,最接近的前期工作来自DALL-E和GLIDE,它们声称要训练非常大的文本到图像预训练模型。据称,DALL-E和GLIDE的参数分别为120亿和50亿,而vqgan-clip加起来是2.27亿。不幸的是,我们被拒绝研究各自论文中声称的模型,因为他们的作者拒绝了。

为了评估我们的模型,我们招募了员工,并要求他们对(文字、图像)对的排列进行评分,评分标准为1(低)至5(高)。特别是,他们被指示对不符合提示的高质量图像的评分低于符合提示的低质量图像。 提示语的选择是基于我们从这些模型的工作经验中学到的原则,但事先并不知道这些模型在有关的特定提示语上会有什么表现。表1显示了每个模型的每个提示的平均得分。我们发现,人类绝大多数都认为使用我们的技术的生成与输入的文本更加一致。

 

表1:每个模型对各代人的平均评分,得分从1(最差)到5(最好)。 

3.3定性分析 

图4显示了使用minDALL-E、GLIDE的两个变体和我们的vqgan-clip的四个不同提示的代表性结果的样本。进一步的比较,包括图2中的提示,可以在附录E中找到。我们发现,minDALL-E和GLIDE模型在其生成的质量上变化更大。虽然他们在回答 "artstation上流行的通用图书馆 "和 "大教堂的木炭画 "的提示时,能够产生明显可识别的图像,但他们对 "孩子画的棒球比赛 "的回答基本上无法辨认,他们对 "用低聚物渲染的森林 "的回答忽略了提示的后半部分。后面这些情况表明,在提示的情况下,以前的方法的输出的语义相关性很低。

 

 

图4:基于文本的图像生成。从上到下:minDALL-E、GLIDE(CLIP引导的)、GLIDE(CF引导的)和我们的vqgan-clip。 

在这里,"儿童画 "的情况特别值得注意,因为儿童画预计会有较低的视觉清晰度和缺乏结构。因此,vqganclip能够正确地调节其对细节的能力,这一点值得注意,表明vqgan-clip在不适当的时候并不内在地偏向于产生细部,并正确地识别多部分提示的适当背景。 

 语义图像编辑

就我们所知,我们的框架是文献中第一个能够进行语义图像生成和语义图像编辑的框架。文献中还有其他例子,说明生成模型可以进行风格转移、图像内画以及其他类型的图像处理,但是我们注意到,这些都代表了与开放域语义图像编辑不同的任务。相比之下,为了使我们的生成方法适用于图像编辑,所需要的只是将随机初始化的起始图像替换为我们希望编辑的图像。

4.1与最先进的技术比较 

对于语义图像编辑,我们与Open-Edit[26]进行了比较。据我们所知,除了我们的工作之外,Open-Edit是唯一发表的关于开放域语义图像编辑的研究。为了避免给我们的方法带来任何意外的优势,我们主要关注Liu等人[26]中作为例子提出的领域,如改变颜色和纹理。我们使用他们的模型的默认设置和与他们论文中相同的提示结构。

颜色编辑:在这里,我们提示模型在不降低图像质量或任何精细细节的情况下改变主色调。结果可以在图5中看到,之前的Open-Edit导致图像内容的破坏性转变。在第二种情况下,"红色总线 "也显示了一个被vqgan-clip所尊重的单一期望操作目标,但Open-Edit引起了整个图像的色彩变化。

 

图5:编辑图像中的颜色的例子。左边是原始的,中间是我们的vqgan-clip,右边是Open-Edit。vqgan-clip更好地保持了内容的原始结构,同时限制了非预期的扭曲。

 

改变天气: 前人强调他们的模型成功的另一个用例是天气修改,改变图像中存在的整体天气状况。这个任务的结果显示在图6中,Open-Edit依靠边缘图来维持结构显示了编辑能力的局限性。所需的改动往往会改变更多的图像内容,从而违反了边缘图,使Open-Edit不能成功地实现所需的内容变化。

 

 图6:天气变化可能需要对场景结构进行更大的改变,而Open-Edit无法执行,如 "阴天→晴天 "的例子所示,除了亮度水平之外,还需要改变天空。

混合交互: 我们包括额外的杂项例子,以强调这是开放领域的图像编辑,其性能并不局限于特定类型的转换。这些例子显示在图7中,我们注意到 "木头 "和 "集中 "的例子展示了一个相关语义较少的任务。这进一步要求我们的方法在模式之间有更强大的基础,以获得成功,并能更好地处理开放领域提示和图像的可能输入的广度。

 

图7:更具挑战性的修改,需要对视觉内容有更大的语言基础才能实现,再次表明vqgan-clip能够更好地编辑图像内容。 

相关技术

5.1隐藏向量正则化

这项工作的先前版本使用了一种叫做Codebook Sampling的方法,它优化了叠加在潜伏向量上的网格上的分类分布。我们发现这种方法对于交互式使用来说太慢了,而且确实留下了相当大的视觉改进空间。在图8中,我们展示了我们目前的方法与之前的方法相比在质量上的改进。通过添加第2.4节的正则化项,我们得到了一种比Codebook Sampling更快和产生更高质量的图像的方法,得到了本文所介绍的结果。我们的正则化方法与Codebook Sampling不兼容,因为Codebook Sampling倾向于在正则化效果显现之前,在训练的早期致力于特定的代码。 

5.2增强数量 

在图9中,我们消减了增量的数量,以显示其在一致的结果质量中的重要性。我们发现,仿生增强减少了杂乱和不需要的重复生成,前瞻性增强提高了三维几何的一致性,噪声增强提高了前景与背景的隔离度。

 

图8:编码本采样(上)、Z-量化(中)和Z-量化与MSE正则化方法(下)之间的比较。请注意,与其他方法相比,正则化的zquantize能够产生更精细的细节,而非正则化和编码本往往会产生浑浊的图像。 

资源方面的考虑 

我们的方法在NVIDIA Tesla K80上的运行时间为(935.2±20.4)秒,在NVIDIA GeForce RTX 2080 Ti上的运行时间为(229.5±26.2)秒(每个样本有10次)。在我们的测试中,这比minDALL-E慢了大约三倍,比GLIDE(已过滤)慢了十倍。虽然我们想分析一下两个模型都需要大量的预训练这一事实所涉及的权衡,但我们所比较的论文都没有足够详细地报告他们的训练要求,以分析这一差异所带来的权衡问题。我们鼓励作者公布更多关于他们模型的信息,以便进行更完整的分析。 

6.1效率是一种价值 

这项研究的目标之一7是提高人工智能图像生成和编辑工具的可及性。我们特意将我们的方法限制在需要少于11GB的VRAM,以便它适合在广泛可用的商业GPU(如K80s)内。

 

图9:各种增强的影响的例子。从左到右:未扩增、仅命名扩增、所有扩增。 

从可访问性的角度来看,这个GPU特别重要,因为它是最大的GPU,可以通过Google Colaboratory的免费账户轻松获得。在Google Colab笔记本中,整个生成过程只需不到3分钟,这使得任何能够访问互联网和拥有Google账户的人都可以使用这种方法。 

拥有更多资源的研究人员可以使用本文未提及的各种增强手段获得更高质量的图像,例如使用集合或额外的辅助模型来规范化世代。虽然将我们的方法的性能推到极致是一个值得努力的事情,但我们能够在免费提供的资源上运行时超过目前的最先进水平,这一点我们认为特别值得强调。

我们将确定非绑定资源的最佳框架留给未来的工作。

6.2运行时分析 

DALL-E、GLIDE和Open-Edit也都将图像生成器和文本-图像联合编码器纳入其架构。然而,与我们的方法不同,它们需要计算密集型的训练和微调。这就引出了训练和推理时间之间的权衡问题。不幸的是,上述论文都没有足够详细地报告他们的训练要求,以估计其训练要求。然而,我们能够估计目前最先进的DALL-E模型minDALL-E的训练时间,其基本模型需要504个V100小时,另外还需要288个V100小时在ImageNet上进行微调。 通过与作者的私下交流,我们了解到GLIDE(过滤)需要400个A100天来训练,为了便于比较,我们将其近似为19,200个V100小时。

 

 

表2: minDALL-E、GLIDE(过滤后)和vqgan-clip在各种GPU上的运行时间。每个单元格显示的是10次运行样本的平均值和标准偏差。minDALL-E在消耗了858个V100小时后变得比vqgan-clip便宜,而GLIDE(过滤后)需要20200个V100小时。

在所有评估的硬件上,我们的模型都比minDALL-E和GLIDE(已过滤)慢得多。然而。就在V100 GPU上的训练和推理之间的权衡而言,minDALL-E的总成本在≈15,800时变得比vqgan-clip便宜,而GLIDE(过滤)需要≈384,000。在计算消耗方面,minDALL-E在858个V100小时后变得比vqgan-clip更便宜,而GLIDE(过滤)需要20200个V100小时。虽然成本和效率问题在很大程度上取决于个人情况,但GLIDE(过滤)在花费了数万美元的计算后才变得和vqganclip一样高效,这一事实大大限制了研究人员对该方法进行实验和迭代的能力。同样的情况也适用于minDALL-E,尽管它的价格是几千而不是几万。 

结论

我们提出了vqgan-clip,一种只基于人类书面文字提示的图像生成和操作的方法。我们的模型生成的质量具有很高的视觉保真度,并保持对文字提示的忠实,超过了先前的方法,如DALL-E和GLIDE。这种保真度已经通过商业上的成功和多家公司的使用得到了外部验证。与唯一可比较的基于文本的图像编辑方法相比,vqgan-clip继续产生更高质量的视觉图像--特别是当文本提示和图像内容的语义相似度较低时。我们的消融研究表明,在优化过程中使用增强的图像是我们方法成功的一个关键因素,而且在我们的方法中,编码书的方法会牺牲速度和质量。

 

 

 

 

VQGAN理论加代码一对一详解,小白向解析 VQGAN原理代码解读 阅读详情

相关推荐

【GitHub】VQGAN+CLIP代码从零开始复现

从开放领域的文本提示中生成和编辑图像是一项具有挑战性的任务,到目前为止,需要昂贵的和经过专门训练的模型。我们为这两项任务展示了一种新的方法,它能够通过使用多模态编码器来指导图像的生成,从具有显著语义复杂性的文本提示中产生高视觉质量的图像,而无需任何训练。我们在各种任务上证明了使用CLIP来指导VQGAN产生的视觉质量比之前不太灵活的方法如minDALL-E、GLIDE和Open-Edit更高。

zcyzcyjava的博客 3200

【论文简介】2204.VQGAN-CLIP(已开源):Open Domain Image Generation and Editing with Natural Language Guidance

从`开放域`(open domain)`文本提示`(text prompts)中`生成和编辑图像`是一项具有挑战性的任务,迄今为止(heretofore)一直需要昂贵的和经过专门训练的模型。 - 我们演示了一种针对这两种任务的新方法,该方法能够通过使用`多模态编码器` (multimodal encoder) 来指导图像生成,在没有任何训练的情况下,从具有显著语义复杂度的文本提示中生成高视觉质量的图像 - 我们在各种任务上演示了如何使用CLIP[37]来指导VQGAN[11]产生比之前更高的视觉质量输出

进一寸有一寸的欢喜 3380

【深度学习】VQGAN 论文和代码 高清图像生成 Taming Transformers for High-Resolution Image Synthesis

亮点就是用transformer搞密码本codebook。VQGAN(Vector Quantized Generative Adversarial Network)的工作主要是通过将图像表示为一组感知丰富的图像元素的组合来克服在高分辨率图像上使用transformers时的计算复杂性问题。为此,他们采用了两种不同的神经网络架构:卷积神经网络(CNN)和transformer。具体而言,VQGAN使用CNN对图像的局部结构进行建模,以有效地学习图像元素的富有上下文的代码本。

q742971636的博客 2407

VQGAN-CLIP: Open Domain Image Generationand Editing with Natural Language Guidance

从开放域文本提示生成和编辑图像是一项具有挑战性的任务,迄今为止,它需要昂贵且经过专门训练的模型。我们为这两个任务演示了一种新颖的方法,该方法能够通过使用多模态编码器来指导图像生成,而无需任何训练就可以从具有显着语义复杂性的文本提示中产生高视觉质量的图像。我们在各种任务上演示了如何使用CLIP 来指导VQGAN产生比以前更高的视觉质量输出,尽管没有为提出的任务进行培训。

qq_39454370的博客 1850

VQGAN-CLIP:只是玩弄让 VQGAN+CLIP 在本地运行,而不必使用 colab

VQGAN-CLIP 概述 用于在本地运行 VQGAN+CLIP 的存储库。 这最初是 Katherine Crowson VQGAN+CLIP 派生的 Google colab 笔记本。 原笔记本: 一些示例图像: 环境: 在 Ubuntu 20.04 上测试 GPU:英伟达RTX 3090 典型的 VRAM 要求: 24 GB 用于 900x900 图像 10 GB 用于 512x512 图像 8 GB 用于 380x380 图像 设置 使用 Anaconda 创建具有先决条件的虚拟 Python 环境的示例设置: conda create --name vqgan python=3.9 conda activate vqgan pip install torch==1.9.0+cu111 torchvision==0.10.0+cu111 torchaudio==0.

深度学习图像生成开源项目VQGAN-CLIP项目源码

github仓库地址: https://github.com/nerdyrodent/VQGAN-CLIP 基于CLIP算法实现的图像文本编码空间共享为相关图像文本多模态提供了有力指导,VQGAN-CLIP基于CLIP算法,通过计算所生成图像与文本信息的损失进行训练指导。

当倚天剑遇到屠龙刀 VQGAN-CLIP 介绍

具体地说,VQGAN-CLIP 使用 CLIP 的编码器来将文本描述编码为一个向量表示,并将该向量传递给 VQGAN 的解码器,以生成相应的图像。在 VQGAN-CLIP 中,CLIP 的编码器被用来将文本描述编码为一个向量表示,并将该向量传递给 VQGAN 的解码器,以生成相应的图像。总的来说,VQGAN-CLIP 是一种高度灵活且强大的生成模型,它可以根据输入的文本描述生成与之相符的图像,具有广泛的应用前景,例如虚拟现实、游戏开发、艺术创作等领域。量化损失用于优化生成器和量化器,以生成更逼真的图像。

671

python使用 Wav2CLIP 和 VQGAN-CLIP 从任何歌曲 制作AI生成的音乐视频

使用 Wav2CLIP 和 VQGAN-CLIP 从任何歌曲制作 AI 生成的音乐视频的存储库。 基本代码源自VQGAN-CLIP 音频的 CLIP 嵌入源自Wav2CLIP 以下链接中提供了描述该机制的技术论文:Music2Video: Automatic Generation of Music Video with fusion of audio and text 更多详情请下载后,阅读README.md文件

VQGAN:从图像重建到图像生成

本文的目标是作为全新图像生成系统的VQGAN。我已经开始讨论VQGAN的一部分——自编码器(VQVAE:矢量量化变分自动编码器)。VQVAE的概念是对编码器、解码器和码书的同时训练,该码书适用于所有可能的图像。码书是一组256个嵌入向量。具有输入分辨率256x256的任何图像的潜在空间由码书向量的某个子集表示。下面的图片底部显示了VQVAE管道的插图:编码器将输入图像(256x256像素分辨率)转...

Warmer_Sweeter 5662

想发故障诊断论文?手把手教你用CWRU数据集复现第一个Baseline模型

本文提供了一份基于CWRU轴承数据集的故障诊断Baseline模型实战指南,手把手教你从数据准备到模型构建的全流程。通过详细的Python代码示例和学术级实验设计,帮助初学者快速复现第一个故障诊断模型,为发表高质量论文奠定基础。

weixin_28681255的博客 428

TMS320F28377D的sys/bios双核工程配置详解——从零搭建到RAM优化

本文详细解析了TMS320F28377D双核系统在sys/bios环境下的工程配置与RAM优化策略。从开发环境搭建、SYS/BIOS工程创建到双核CMD文件配置,提供了实战技巧和常见问题解决方案,帮助开发者高效实现电力电子控制系统中的双核协作与性能优化。

weixin_28292761的博客 600

多模态经典论文精读:VQGAN

在本文中,我们探讨了VQGAN如何生成高分辨率图像。其整体架构如下:首先,我们探讨了数据本身,建立了一种感知理论,认为图像可以通过其离散表示来描述。这与传统的计算机视觉技术不同,后者通常侧重于像素级别的处理。接着,我们分析了 VQGAN 实现的二阶段方法。它由一个以GAN形式存在的卷积神经网络和一个Transformer组成:img我们还强调了扩展Transformer模型的难度,因此需要使用通过向量量化得到的Codebook。代码本填补了两个阶段之间的空白。img。

Everly_的博客 2811

OFDM接收机同步——分组检测

上一篇讲了OFDM发射机中的长短训练序列生成原理,基于此可以得到长短训练序列的准确数值,为接收机中的符号同步中的相关运算提供基础。 进入符号同步前,首先来看OFDM接收机中的第一步——分组检测。分组检测就是检测突发传输方式的信道上是否有新的数据到达,算法的好坏直接影响着接收机的后续工作性能。 一、本文意义 基于《基于xilinx fpga 的ofdm的通信系统基带设计》这本教材中分组检测算法原理,通过matlab编程仿真验证“延时相关+保持长度”分组检测算法的有效性。同时,通过仿真证明教材上的判决公式的问题

boayel的博客 2203

推荐开源项目:VQGAN-CLIP —— 超现实的语义图像生成与编辑神器

推荐开源项目:VQGAN-CLIP —— 超现实的语义图像生成与编辑神器 项目地址:https://gitcode.com/gh_mirrors/vqg/vqgan-clip 1、项目介绍 VQGAN-CLIP 是由EleutherAI团队研发的一款强大的语义图像生成和编辑工具。这个项目基于先进的神经网络模型,结合了VQGAN(Vector Quantized Generative Adversa...

gitblog_00040的博客 853

UE5音效系统全解析:从Sound Cue到MetaSounds的实战指南

在游戏开发中,音频系统是构建沉浸式体验的关键技术之一。其核心原理在于通过数字信号处理(DSP)和空间音频渲染,模拟真实世界的听觉感知。传统音频管线通常基于静态资源播放与混合,而现代引擎则引入了程序化音频生成与动态调制技术,这极大地提升了音频的互动性与表现力,使其能够实时响应游戏状态变化。这一技术革新对于开发开放世界、VR及3A级游戏尤为重要,它能实现风吹草动皆有不同声响、音效随环境动态变化的细腻效果。本文聚焦虚幻引擎5(UE5)的音效系统,深入剖析其新旧两套核心架构:稳定高效的Sound Cue、Sound

weixin_31179927的博客 334

MT5策略如何设置回测结果才能最接近实盘

摘要:在MT5回测中,选择"每笔分笔报价"模式最接近实盘交易,因其使用真实Tick数据模拟价格波动、点差和滑点。关键设置包括:下载高质量历史数据、合理设定点差和滑点、使用正常回测速度。该模式能准确测试挂单、止盈止损等策略,虽然速度较慢但结果最可靠,避免其他模式造成的失真,是评估交易策略表现的最佳选择。(149字)

weixin_38915451的博客 1888

深度学习系列29:VQ-GAN模型

1. 介绍 发表于2021年,来自德国海德堡大学IWR研究团队。最大的亮点在于其可以生成百万像素级别的图片。 VQGAN的突出点在于其使用codebook来离散编码模型中间特征,并且使用Transformer(GPT-2模型)作为编码生成工具。codebook的思想在VQVAE中已经提出,而VQGAN的整体架构大致是将VQVAE的编码生成器从pixelCNN换成了Transformer,并且在训练过程中使用PatchGAN的判别器加入对抗损失。 2. 详情 整理一下,输入x,通过编码器E得到z,然后离散

kittyzc的博客 1万+

BSW: Dcm模块配置--28服务

这个章节讲解下UDS中的28服务(Communcation Control)的配置,顾名思义,对当前ECU的通讯状态进行变更,主要设置应用报文,网络管理报文的收发控制,通常应用在刷写APP软件时,降低总线负载。这里首先要提醒的一点是,28服务几乎不需要手写代码,只有在客户需求要求前置条件不满足时报特定NRC时才需要填充代码。实际配置中主要涉及的模块有DCM,BSWM,ComM,RTE.2.BswM模块的配置。3.ComM模块的配置。1.DCM模块的配置。

Forever_Oct的博客 3088

使用VQGAN+CLIP从图鉴文本描述中生成神奇宝贝

还记得我们一年前发布的使用GAN生成神奇宝贝的文章吗,今天他的改进版本来了,这次我们根据文字描述来生成神奇宝贝。 先看看结果,这几个你们都认识吗,它们分别是:蒜头蛤蟆、喷火蜥蜴、呲水王八和黄皮耗子。不得不说,现在的AI技术真的太强大了???? VQGAN+CLIP(Vector Quantised General Adversarial Network + Contrastive Language - Image Pre-training)是最近新兴的“数据艺术”的最新研究之一,现在已被用于创作一些令人惊

deephub 7026

ZYNQ软件复位重启、程序跳转的实现方法(Multiboot)

目录一、增加FSBL的调试信息 一、增加FSBL的调试信息 启动过程的调试信息如下: Xilinx First Stage Boot Loader Release 2016.4 Jan 19 2020-10:35:00 Devcfg driver initialized Silicon Version 3.1 Boot mode is QSPI Single Flash Informat...

weixin_41922484的博客 2万+

git连接华为软件开发云

我用的是github客户端的git shell 连接。用git bash也可以github客户端下载地址:https://desktop.github.com/1.在华为软件开发云上创建代码仓库2.在本地创建密钥SSH密钥帮助文档公钥是代码托管服务(CodeHub)识别您的用户身份的一种认证方式,通过公钥,您可以将本地git项目与代码托管服务(CodeHub)建立联系, 然后您就可以很方便的将本地...

sigmeta的博客 2114

AE、VAE、VQVAE、VQGAN介绍

VAE、VQVAE、VQGAN是图像生成方向的模型,他们之间的关系如下图所示。接下来对这AE、VAE、VQVAE、VQGAN进行介绍。

m0_64148253的博客 5585

迈瑞BS系列全自动生化分析仪LIS协议接口手册(内含HL7和ASTM)

迈瑞BS系列全自动生化分析仪LIS协议接口手册,内含HL7和ASTM)

VQGAN-CLIP 项目使用教程

VQGAN-CLIP 项目使用教程 目录结构及介绍 VQGAN-CLIP 项目的目录结构如下: vqgan-clip/ ├── LICENSE ├── README.md ├── cog.yaml ├── download_models.sh ├── generate.py ├── opt_tester.sh ├── predict.py ├── random.sh ├── requirement...

gitblog_01140的博客 565

文档:亲测可用解决vnc灰屏,黑屏,鼠标大黑叉情况

主要解决vnc-viewer灰屏,黑屏,鼠标大黑叉等现象,详细见文档。

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

VQGAN(2021-06:Taming Transformers for High-Resolution Image Synthesis)

VQGAN 创新性地将 VQ-VAE 和 GAN 结合,利用离散潜在空间和对抗性损失生成高质量图像,为高分辨率图像生成提供了新的方法。同时,VQGAN 的设计允许在生成过程中使用 Transformer 等更复杂的模型架构,使得图像生成更加灵活和精细。

白泓的博客 1715

怀旧版电脑GBC模拟器

再现原版GBC掌机的界面,电脑运行连游戏界面都一样大小,很怀旧,很真实,(英文版)强烈推荐,很小的文件,很难才找到的。

通俗易懂 VQ-GAN:结合向量量化与生成对抗网络的高效图像生成模型

目的是为了和各种生成算法统一。在来看VQ-GANVQ-GAN:既然VQ-VAE觉得随机采样的z不靠谱,那我一样,我的z采样也不在是直接采样,而是也构造一个网络来实现生成z的采样,然后你会发现比较好玩的是,把VQ-GAN前面的编码网络E去掉,他就是一个GAN,那如果是把D网络去掉,那就是VQ-VAE了。

m0_59156726的博客 1569

ASR 识别任务:两篇论文阅读分析与系统方案技术报告 当前报告不足

第 21 页提出“可复现、可解释、可部署、可维护、边界清楚”的最低门槛,方向正确,但仍主要是定性条件。报告没有给出目标语言/领域、离线或流式优先级、训练数据规模、目标硬件、并发预算、最大可接受时延,也没有规定通过值和允许退化幅度。但没有展示任何一条实际复现记录,例如代码仓库、依赖与 CUDA 环境、配置哈希、数据清单哈希、训练命令、日志位置、模型和复算结果。字段与质量检查是报告强项,但数据来源许可、说话人同意、隐私脱敏、敏感信息保留策略、标注规范、抽检比例、标注一致性和争议样本仲裁没有展开。

XLYcmy的博客 316
上一篇: 解决pip._vendor.urllib3.exceptions.ReadTimeoutError: HTTPSConnectionPool
下一篇: linux下如何运行.sh脚本
nocol.
博客等级 码龄7年 587粉丝 67原创
评论 1
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值