CogView阅读笔记【文生图模型】

原创 已于 2024-02-04 17:53:22 修改 · 690 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#笔记 #人工智能 #计算机视觉 #深度学习 #AIGC

于 2024-01-25 11:42:24 首次发布

笔记目录

1. 基本信息

  • 题目：CogView: Mastering Text-to-Image Generation via Transformers
  • 时间：2021.11
  • 发表：NIPS 2021
  • 机构：清华，达摩院，智源研究院
  • 作者：ming等
  • 链接直达：github/paper/project
  • 关键词：AIGC，text to image，VQVAE
  • 概括：使用VQVAE，得到image的tokens，以及SentencePiece得到的text的tokens，输入到Transformer中训练。
  • 摘要翻译：长期以来，一般领域的文本到图像生成一直是一个悬而未决的问题，这需要强大的生成模型和跨模态理解。我们提出了 CogView，一个具有 VQ-VAE 分词器的 40 亿参数 Transformer 来解决这个问题。我们还演示了各种下游任务的微调策略，例如风格学习、超分辨率、文本图像排名和时装设计，以及稳定预训练的方法，例如消除 NaN 损失。CogView 在模糊的 MS COCO 数据集上实现了最先进的 FID，优于以前基于 GAN 的模型和最近的类似工作 DALL-E。

2. 理解（个人初步理解，随时更改）

  1. 干了一件什么事：文生图模型。
  2. CogView的pipeline（如图）：
最低0.47元/天 解锁文章

200万优质内容无限畅学
文生图片 学习笔记 2025
jacke121的专栏
12-13 692
文本生成图片 学习笔记
人工智能大模型之开源大语言模型汇总（国内外开源项目模型汇总）
丨汀、的博客
06-19 4897
人工智能大模型之开源大语言模型汇总（国内外开源项目模型汇总）
【AI工具集】CogView - 一个用于图像生成的语言模型，可以生成图像描述和生成图像
2403_86762465的博客
02-12 492
CogView 展现了多模态学习的强大潜力，特别是在结合文本理解和图像生成方面。随着技术的进步，我们可以期待看到更多创新的应用出现，这些应用将进一步模糊文本与图像之间的界限，开启全新的交互方式和用户体验。对于希望探索最前沿 AI 技术的人来说，CogView 提供了一个强大的平台来实验和实现他们的想法。
＜Python＞基于智谱AI图像大模型的图像生成程序(CogView)
用沸腾的热血，支付我们的人生吧！
01-18 2351
图片显示的实现，首先是使用requests去获取在线图片的数据，对于返回的图片元数据，我们使用Pillow库进行处理，最终将其转为QPixmap数据类型，这样就可以在Qlabel中显示。本文是基于智谱AI大模型的图像生成模型CogView，使用PyQt5搭建自定义UI界面，CogView接口根据输入的提示词生成图片，然后将图片显示，并且可以保存到本地。在函数mm2中，我们将子线程传过来的图片网址URL显示在一个标签上，并且给标签设置了超链接，这样我们可以直接点击标签的网址，就可以在浏览器打开生成的图片。
跑通CogView教程
tt丫的博客
07-31 2592
​ 一、代码下载 二、环境配置 三、下载 image tokenizer——vqvae_hard_biggerset_011.pt 四、下载模型 五、准备input的文字 六、运行 七、结果 一、代码下载 GitHub - THUDM/CogView: Text-to-Image generation. The repo for NeurIPS 2021 paper "CogView: Mastering Text-to-Image Generation via Transformer
Text to image论文精读CogView: Mastering Text-to-Image Generation via Transformers(通过Transformer控制文本生成图像)
白洞，白色的明天在等着我们
03-06 9730
CogView是清华大学和阿里巴巴达摩院共同研究开发的一款，用Transformer来控制文本生成图像的模型。文章发表于2021年10月。 论文地址：https://arxiv.org/pdf/2105.13290v3.pdf 代码地址：https://github.com/THUDM/CogView
CogView: Mastering Text-to-Image Generation via Transformers翻译
nopSled
10-11 5746
摘要 通用领域中的 Text-to-Image 生成长期以来一直是一个开放的问题，它需要强大的生成模型和跨模态理解。 我们提出了 CogView，一个 40 亿参数的 Transformer，带有 VQ-VAE tokenizer来解决这个问题。 我们展示了其在各种下游任务的微调策略，例如 风格学习、超分辨率、文本图像排名和时装设计，并且还提出了稳定预训练的方法，例如。 消除 NaN 损失。CogView（zero-shot）在模糊 MS COCO 上实现了新的最先进的 FID，优于以前的基于 GAN 的模
从Relay Diffusion到Cogview 3：浅谈Noise Scheduling和扩散模型
weixin_38096064的博客
03-15 1214
从Relay Diffusion到Cogview 3：浅谈Noise Scheduling和扩散模型
GLM4 开源了！！！
东方佑
06-05 1276
GLM-4的All Tools能力（即Agent智能体能力）也是全新发布的，这使得GLM-4能够根据用户意图自动理解、规划复杂指令，并自由调用网页浏览器、Code Interpreter代码解释器和多模态文生图大模型CogView3以完成复杂任务。智谱AI还将发起一个大模型开源基金，这个计划包括三个“1000”：为开源社区提供1000张卡助力开源开发，提供1000万元现金支持与大模型相关的开源项目，以及为优秀开源开发者提供1000亿免费API tokens。
CogView：通过Transformer掌握文本到图像的生成
weixin_51697828的博客
12-19 1822
Ding,Ming,ZhuoyiYang,WenyiHong,WendiZheng,ChangZhou,DaYin,JunyangLin,XuZou,ZhouShao,HongxiaYangandJieTang.“CogView:MasteringText-to-ImageGenerationviaTransformers.”ArXivabs/2105.13290(2021). 1Abstract 通用领域的文本到图像的生成长期以来一直...
3-2+CogView：文本到图像生成预训练.zip
03-18
3-2+CogView：文本到图像生成预训练
AI绘画软件（Stable Diffusion、Midjourney、DALL-E 2）部署与开发指南
07-09
项目总结 本文详细介绍了Stable Diffusion、Midjourney和DALL-E 2等AI绘画软件的部署、训练模型、安装、原理、提示词合集、API开发和插件开发。通过这些步骤和示例代码，读者可以快速上手并开始使用这些强大的AI绘画工具进行创作和开发。 - **Stable Diffusion**：开源的扩散模型，可以本地部署和训练，适合需要自定义模型的用户。 - **Midjourney**：基于云服务，使用方便，但细节未公开。 - **DALL-E 2**：基于OpenAI API，提供强大的文本到图像生成能力，适合需要快速生成高质量图像的应用。 这些AI绘画软件为创作者和开发者提供了强大的工具，能够极大地提升工作效率和创作灵感。希望本文能为读者提供有价值的参考，帮助其更好地利用AI绘画技术。
CogView模型及其论文详解
haopinglianlian的博客
01-07 2104
本文详细介绍CogView模型的设计及其论文解读。CogView 的基本架构与 DALL·E 类似，都使用了 VQ-VAE（Vector Quantized Variational Autoencoder）进行图像编码，并结合 Transformer 进行生成。
会讲故事的Cogview --- AI绘图
cogview的博客
02-10 1261
用Cogview 生成图片来讲故事，利用图片文字相结合的方式让故事更加生动形象
CogView模型及论文详解
haopinglianlian的博客
01-07 1179
本文详细介绍CogView模型的设计及其论文解读。CogView 的基本架构与 DALL·E 类似，都使用了 VQ-VAE（Vector Quantized Variational Autoencoder）进行图像编码，并结合 Transformer 进行生成。
CogView3：更精细、更快速的文本到图像生成技术
人工智能讲师分享前沿技术
08-20 2410
人工智能咨询培训老师叶梓 转载标明出处单阶段文本到图像扩散模型在计算效率和图像细节精细化方面仍有很大上升空间。为此清华大学的研究团队提出了CogView3，这是首个在文本到图像生成领域实现中继扩散（relay diffusion）的模型。中继扩散是一种新的级联扩散框架，它将生成高分辨率图像的过程分解为多个阶段。首先生成低分辨率图像，然后通过中继超分辨率生成进行细化。与传统的级联扩散框架不同，中继超分辨率在低分辨率图像上添加高斯噪声，并从这些带噪声的图像开始扩散。
大模型——CogView4：生成中英双语高清图片的开源文生图模型综合介绍
03-04 3906
CogView4 是由清华大学 KEG 实验室（THUDM）开发的一款开源文生图模型，专注于将文本描述转化为高质量图像。它支持中英双语提示词输入，尤其擅长理解中文提示并生成带有汉字的图像，非常适合广告设计、短视频创作等场景。作为首个支持在画面中生成汉字的开源模型，CogView4 在复杂语义对齐和指令跟随能力上表现出色。它基于 GLM-4-9B 文本编码器，支持任意长度的提示词输入，并能生成高达 2048 分辨率的图像。
CogView4介绍和本地部署
最新发布
寸先生的AI道路
03-11 2036
2025年3月4日由智谱发布的全网首个支持中文生成的开源模型CogView4开源地址https://github.com/THUDM/CogView4，CogView4遵循Apache 2.0协议，是首个以此协议开放的图像生成模型，为开发者提供了更灵活的使用空间，学生党做毕设再也不用跪求版权图。
深度学习系列40：cogview生成模型
kittyzc的博客
06-13 2402
开源地址见：https://github.com/THUDM/CogView demo地址：https://agc.platform.baai.ac.cn/CogView/index.html 特点：基于中文 效果展示如下。在生成人像时，四肢细节有时会有些问题。 在gpu机器上拉取镜像： 在pretrained/vqvae目录下，下载图像tokenizer：vqvae_hard_biggerset_011.pt： 在pretrained/cogview/下，从https://resource.wudaoai
用CogView4-6B文生图模型需要什么配置，给出完整python代码
03-09
<think>好的，我现在需要回答用户关于使用CogView4-6B文生图模型所需的配置以及完整的Python代码的问题。首先，我得确认自己对这个模型了解多少。CogView4-6B是清华大学开发的一个文本生成图像的模型，参数量达到60亿，属于比较大的模型。用户可能需要知道硬件要求、环境配置以及具体的代码示例。 首先，硬件配置方面，6B的模型通常需要较大的显存。比如，像GPT-3这样的模型，但具体到CogView4-6B，可能因为模型结构的不同，显存需求会有所变化。一般来说，像这样的模型可能需要至少16GB以上的显存，可能需要使用A100这样的高端显卡。不过，可能用户可以使用一些技术，比如模型并行或者半精度推理来减少显存占用。我需要查证一下官方文档或相关资源，确认具体需要什么样的硬件。 然后是软件环境。用户需要安装Python，以及相关的深度学习框架，比如PyTorch。此外，可能还需要Hugging Face的Transformers库，或者清华自己发布的模型库。可能需要特定的版本，比如PyTorch 1.8以上，Transformers 4.18以上。另外，可能还需要安装其他依赖库，比如tqdm、numpy等。 接下来是代码部分。用户需要知道如何加载模型，进行推理。根据Hugging Face的常规做法，可能需要使用AutoModel和AutoTokenizer。但CogView可能有自己的处理方式，比如使用特定的generate方法，或者需要处理图像生成的参数，比如生成的步数、温度等。另外，生成的图像可能需要后处理，比如从张量转换为PIL图像，并保存。 同时，需要注意模型的分发方式。CogView4-6B可能没有直接放在Hugging Face Hub上，而是需要通过GitHub或者其他途径获取。用户可能需要申请权限或者下载模型文件，然后从本地加载。这可能涉及到模型权重的下载以及正确路径的设置。 还有可能遇到的一些问题，比如显存不足时的处理，是否支持半精度（fp16）或者8位量化，或者使用模型并行。比如，将模型分布在多个GPU上运行，减少单个GPU的负担。不过对于普通用户来说，可能更倾向于单卡配置，所以需要给出最低配置建议。 此外，推理时间也是一个考虑因素。生成高分辨率图像可能需要较长时间，用户可能需要调整参数，比如num_beams或者max_length，来平衡速度和质量。 现在，我需要整合这些信息，给出一个清晰的步骤。首先硬件需求，然后软件依赖，接着是代码示例，包括加载模型、生成图像、保存结果。可能还需要处理访问权限的问题，比如使用Hugging Face的token或者申请模型访问。 另外，要检查代码的正确性，比如是否有拼写错误，是否正确调用模型的方法。例如，CogView可能有自己的generate方法，或者需要特定的预处理步骤，比如将文本转换为特定的token，或者添加特殊的标记。 可能还需要示例输入和输出，比如用户输入一个描述，模型生成对应的图像，并保存为文件。同时，可能需要处理生成的图像是多个的情况，如何选择并保存最佳的图像。 最后，总结需要注意的事项，比如显存不足时的解决方案，或者建议的云服务选项，比如使用AWS、Google Cloud等平台的GPU实例。</think>以下是使用CogView4-6B文生图模型的完整配置说明和Python代码实现： --- ### 一、硬件配置需求 1. **显存要求**：最低需 **24GB显存**（如NVIDIA RTX 3090/A5000），推荐使用 **A100 40GB** 2. **内存要求**：建议32GB以上系统内存 3. **存储空间**：模型文件约12GB，需预留至少20GB硬盘空间 --- ### 二、软件环境配置 ```python # 1. 基础环境 Python 3.8+ CUDA 11.3+ PyTorch 1.12.1+ # 2. 安装依赖库 pip install torch torchvision --extra-index-url https://download.pytorch.org/whl/cu113 pip install transformers==4.25.1 icetk ftfy tqdm ``` --- ### 三、完整Python代码 ```python import torch from transformers import AutoModel, AutoTokenizer # 1. 初始化模型（需提前下载模型权重） model_path = "THUDM/cogview4-6B" # 或本地路径 tokenizer = AutoTokenizer.from_pretrained(model_path) model = AutoModel.from_pretrained(model_path, trust_remote_code=True).half().cuda() # 2. 图像生成函数 def generate_image(prompt, max_tokens=256): with torch.no_grad(): # 文本编码 input_ids = tokenizer.encode(prompt, return_tensors="pt").cuda() # 生成配置 generate_config = { "max_length": max_tokens, "temperature": 0.9, "top_k": 60, "top_p": 0.7, "num_return_sequences": 1 } # 执行生成 outputs = model.generate( input_ids, **generate_config, use_cache=True ) # 解码图像 images = model.show(outputs) return images[0] # 3. 使用示例 if __name__ == "__main__": prompt = "一只穿着宇航服的柴犬在月球表面行走" image = generate_image(prompt) image.save("output_image.png") print("图像已保存至 output_image.png") ``` --- ### 四、关键注意事项 1. **模型下载**：需通过官方渠道申请模型权重（清华大学开源协议） 2. **显存优化**： ```python # 启用内存优化（A100可用） model = model.to_bettertransformer().half() # 8位量化（显存需求降至18GB） model = model.quantize(8).cuda() ``` 3. **多GPU支持**： ```python # 使用模型并行 model.parallelize(device_map="auto") ``` --- ### 五、性能参考（A100 40GB） | 参数 | 数值 | |--------------|---------------| | 生成分辨率 | 256x256 | | 单图生成时间 | 15-25秒 | | 最大生成长度 | 256 tokens | 建议通过调整`temperature`(0.5~1.2)和`top_p`(0.5~0.9)控制生成多样性。若遇到显存不足问题，可尝试降低`num_return_sequences`或使用梯度检查点技术。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值