多模态论文笔记——dVAE（DALL·E的核心部件）

已于 2024-12-30 00:24:46 修改
阅读量1.8k 收藏 29
点赞数 35
分类专栏： AIGC—图像 # DALL·E 多模态论文笔记 文章标签： 深度学习 人工智能 aigc DALL dalle 计算机视觉 stable diffusion
于 2024-12-22 09:59:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/haopinglianlian/article/details/144641218
版权

大家好，这里是好评笔记，公主号：Goodnote，专栏文章私信限时Free。详细介绍DALL·E的核心部件之一——dVAE，在VQ-VAE的基础上使用Gumbel-Softmax实现采样，用于图像生成。

在这里插入图片描述

文章目录

前情提要

VAE

深度学习——AE、VAE

AE 和 VAE 在结构、目的和优化方式上存在多个重要区别：

特性 AE VAE
编码器输出 固定的低维向量（确定性的表示&#x
了解本专栏 订阅专栏 解锁全文 超级会员免费看
深度学习之十一（扩散模型--Diffusion Variational Autoencoder,DVAE）附案例代码
JustinMars的博客
11-27 2149
扩散模型DVAE（Diffusion Variational Autoencoder）是一种结合了变分自动编码器（VAE）和扩散过程的生成模型。它结合了时间连续的扩散过程和变分自编码器的概念，用于建模和生成具有时间序列结构的数据，例如视频、时间序列等。
多模态论文笔记——Coca
最新发布
haopinglianlian的博客
01-02 1307
本文详细介绍多模态模型Coca，在DALL·E 3中使用其作为captioner基准模型的原因和优势。
D-VAE: 变分自编码器用于有向无环图
gitblog_01121的博客
10-10 941
D-VAE: 变分自编码器用于有向无环图 D-VAE D-VAE: A Variational Autoencoder for Directed Acyclic Graphs, NeurIPS 2019 项目地址: https:/...
万字长文解读深度学习——dVAE（DALL·E的核心部件）
分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及！
12-04 1630
详细介绍DALL·E的核心部件之一——dVAE，在VQ-VAE的基础上使用Gumbel-Softmax实现采样，用于图像生成。
D-VAE 项目使用教程
gitblog_00413的博客
10-11 423
D-VAE 项目使用教程 D-VAE D-VAE: A Variational Autoencoder for Directed Acyclic Graphs, NeurIPS 2019 项目地址: https://gitcode...
VAE（Variational Auto-Encoder）
qq_39117858的博客
03-16 884
一、普通的auto-encoder auto-encoder分为encoder,latent vector,decoder三个部分，通过encoder（全连接，卷积，RNNs等）将一些图片，语言等高维的数据映射到低维的数据，得到压缩后的或者说是降维后的表达,也就是latent vector。decoder一般来说与encoder对称的一个结构，当然也可以是另外的结构。但是实现的功能只有一个，就是将...
多模态论文笔记——LLaVA
haopinglianlian的博客
12-28 1871
本文详细介绍多模态模型：LLaVA。处理包含图像和文本的多模态数据，并生成合理准确的回答。
多模态论文笔记——VQ-VAE和VQ-VAE-2
haopinglianlian的博客
12-21 2420
本文详细介绍VQ-VAE和VQ-VAE-2的原理和训练过程，为后面的dVAE在DALLE中的使用打下坚实的基础。
多模态论文笔记——CogVLM和CogVLM2
haopinglianlian的博客
01-02 1893
本文详细介绍LoRA版本的多模态模型——CogVLM和CogVLM2。在SD3中使用其作为captioner基准模型的原因和优势。
【学习日记week7】VQVAE(dVAE)，DALL-E，BEiT：基于生成/跨模态生成的工作概述
alokag的博客
11-13 3305
写下这段内容的时候笔者正在医院看病，上个特别好的周末时光被至今也不知道是什么的病和发烧给毁了。。这周末又是考s试答辩连着来，大四了人依旧很崩溃。。。BEiT其实在上周就已经看了一半了，然后头痛欲裂在床上连躺三天，吃了好多药也没退烧，嗓子现在和刀割一样>
深度学习 | 多模态算法
"You are worthy! You can do it!"
01-04 2510
AIGC也就是AI内容生成已经成为新一轮人工智能发展的热点和必然趋势，它使得大规模高质量的创作变得更加容易。
【论文精读】DALL·E
weixin_44934783的博客
02-16 2008
DALL-E
DALL·E 2（内含扩散模型介绍）【论文精读】Hierarchical Text-ConditionalImage Generation with CLIP Latents
云淡风轻_的博客
11-13 1930
大家好，今天我们就一起来看一下两个月之前 OpenAI 刚放出来的一篇力作。DALL·E 2是 OpenAI 一系列文本图像生成工作的最新一篇。去年 1 月份他们先推出了Dolly，然后在年底的时候又推出了glide。然后现在 4 月份刚推出了 DALL·E 2 一出来其实网友就已经炸开了锅。我记得那两天的 Twitter 上或者说 Instagram 上到处都是DALL·E 2生成的图片，所有的论坛上基本都被DALL·E 2刷屏了。虽然网上有很多很好玩的很新奇的生成了一些图片。
DALL E2【论文阅读】
hei_hei_hei_的博客
11-10 1672
DALL E2论文阅读
论文精读--DALL·E 2
m0_73202283的博客
02-28 1791
对比学习模型，如CLIP，已被证明能够学习到同时捕获图像的语义和风格的鲁棒表示。为了利用这些表示进行图像生成，我们提出了一个两阶段模型：一个先验网络，它根据文本描述生成CLIP图像嵌入，以及一个解码器，它根据图像嵌入生成图像。我们展示，明确地生成图像表示可以改善图像多样性，同时在照片真实性和描述相似性上的损失最小。我们的解码器，在图像表示的条件下，还可以生成图像的变化，同时保留其语义和风格，变化那些在图像表示中不存在的非关键细节。此外，CLIP的联合嵌入空间使语言引导的图像操作能够在零样本的情况下进行。
DALL·E模型及其论文详解
分享包括但不限于计算机基础知识、数据结构与算法、Golang技术栈。年与时驰，意与日去，遂成枯落，多不接世，悲守穷庐，将复何及！
12-05 2334
详细介绍DALL·E的模型架构和训练过程，详细解读其论文《Zero-Shot Text-to-Image Generation》。
DALL-E-2 论文水记
无
09-14 503
DALL-E-2 论文水记
探索高效图像生成的未来 —— Efficient-VDVAE 深度学习库解析
gitblog_00064的博客
06-09 867
探索高效图像生成的未来 —— Efficient-VDVAE 深度学习库解析 Efficient-VDVAEOfficial Pytorch and JAX implementation of "Efficient-VDVAE: Less is more"项目地址:https://gitcode.com/gh_mirrors/ef/Efficient-VDVAE 项目介绍 在深度学习领域，生成模...
万字综述！从21篇最新论文看多模态预训练模型研究进展
Paper weekly
11-07 2184
©作者 | 杨浩单位 | 阿里达摩院研究方向 | 自然语言处理背景在传统的 NLP 单模态领域，表示学习的发展已经较为完善，而在多模态领域，由于高质量有标注多模态数据较少，因此人们希望能使...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值