ConsiStory：Training-Free的主体一致性生成

已于 2024-03-21 15:36:24 修改
阅读量538 收藏 5
点赞数 4
分类专栏： AIGC 文章标签： 计算机视觉 论文阅读 多模态大模型 AIGC
于 2024-03-17 21:02:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/pku_langzi/article/details/136789722
版权
本文介绍了一种无需训练的一致性文本到图像生成方法，由NVIDIA和Tel-Aviv University提出。该方法利用目标驱动的共享注意力模块和相关性特征注入，实现了惊艳的效果。相关工作包括The Chosen One、Adaptive Context Modeling、[26]和Intelligent Grimm（StoryGen）。论文链接和即将发布的代码库已提供。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Overview


ConsiStory

一、总览

题目： Training-Free Consistent Text-to-Image Generation
机构：NVIDIA, Tel-Aviv University
论文：https://arxiv.org/pdf/2402.03286.pdf
代码：https://consistory-paper.github.io/ (coming soon)
任务：一致性生成
方法：目标驱动的共享注意力模块 + 相关性特征注入
特点：效果惊艳，training free
前置相关工作：The Chosen One，Adaptive Context Modeling，[26]，Intelligent Grimm（StoryGen）

二、PPT详解

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【论文笔记】Indoor Visual Positioning Aided by CNN-Based Image Retrieval: Training-Free, 3D Modeling-Free
weixin_44413191的博客
08-05 525
本文为《Indoor Visual Positioning Aided by CNN-Based Image Retrieval: Training-Free, 3D Modeling-Free》学习笔记，欢迎交流
每日AI：英伟达推文生图模型ConsiStory；高度可控AI试衣OOTDiffusion；开发者推SoraWebui开源项目；
AIbase2024的博客
02-23 1190
2月21日欢迎来到【AI视野】栏目!这里是你每天探索人工智能世界的指南，每天我们为你呈现AI领域的热点内容，聚焦开发者，助你洞悉技术趋势、了解创新AI产品应用。
ConsiStory Training-Free Consistent Text-to-Image Generation
weixin_44966641的博客
03-24 1457
ConsiStory 无需训练，在生图 batch 内共享 KV 实现 subject 一致的生成，为避免背景受到影响，仅在 attention mask 内共享。使用混合 query 特征和 attention dropout 削弱 KV 共享的影响，从而丰富布局和背景的多样性。通过 DIFT 特征找到对应的 patch 位置，使用 feature injection 进行细粒度的优化。
One Prompt One Story
2301_79859331的博客
03-12 854
上次编辑: 2025年3月12日 10:14。
图像生成：Consistency Models（一致性模型）
WiSirius的博客
11-28 3631
扩散模型在图像、音频和视频生成方面取得了重大突破，但它们依赖于迭代生成过程，导致采样速度较慢，限制了其实时应用的潜力。为了克服这一限制，我们提出了一致性模型，这是一种新的生成模型家族，可以在没有对抗性训练的情况下实现高样本质量。它们在设计上支持快速的一步生成，同时仍然允许少步采样以换取样本质量的计算。它们还支持零样本数据编辑，如图像修补、着色和超分辨率，而不需要对这些任务进行明确的训练。在SD中，
Training-Free Consistent Text-to-Image Generation # 论文阅读
qq_29679623的博客
05-25 860
来保证多图间的主体一致性，另外通过一些 trick 保证生成图片分布的多样性和 layout 的多样性。本方法可以保证不需要任何额外训练或 finetune 的情况下，完成主体保持的人物，同时相比其他需要训练的方法有更好的文本对齐能力。提出了一种不需要任何额外训练的主体保持方法，可以一次生成的 batch 中，通过多个 prompt 生成对应的多张图片，这些图片都可以拥有一个主体。另外文章提到即使在 self-attn 之间共享的只是 mask 提取到的主体，但是仍然会出现生成图片分布过于一致的问题。
文生图一致性角色生成！谷歌最新文本到图片扩散模型工作
zero的博客
11-20 1367
大家好，我是阿潘，今天和大家分享一篇谷歌最新的文生图的工作。主要解决在文生图中无法生成一致性角色的难题！如果有帮助，欢迎大家帮忙转发分享，感谢！ 推荐微信交流群现已有2000+从业人员交流群，欢迎进群交流学习，微信：nvshenj125B站最新成果demo分享地址：https://space.bilibili.com/288489574顶会工作整理Github repo：https://githu...
文生图保持人物一致性
05-07
一种常用的方法是通过迭代优化来增强生成图像中的身份一致性。这种方法的核心在于从一组具有相似身份的连贯图像中提取更一致的身份特征[^3]。具体实现方式如下： - 利用文本提示作为输入，生成一系列初步的人物图像...
集成有文生图扩散模型和文生视频扩散模型的视频生成模型中，如何设置或管理该文生图扩散模型和文生视频扩散模型的时间步
05-24
在集成文本生成图像（Text-to-Image, T2I）和文本生成视频（Text-to-Video, T2V）的扩散模型系统中，时间步的设置与管理是确保生成质量和时空一致性的重要环节。以下是对这一问题的详细分析： #### 时间步的设计...
【NVIDIA NIM 黑客松训练营】文生图小应用
热门推荐
hahahagehahage的博客
10-13 3万+
demo使用了模型和，根据用户输入判断是否有作画意图，来判断是否调用文生图模型。
ICLR 2024 | FLATTEN：无需训练的高一致性文本-视频编辑生成
阿木寺的博客
03-11 310
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>【扩散模型和多模态】交流群添加微信：CVer444，小助手会拉你进群！扫描下方二维码，加入CVer学术星球，可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文搞科研，强烈推荐！作者：丛裕人（已授权转载）https://zhuanlan.zhihu.com/p/679850929去年...
英伟达推出ConsiStory免训练文生图模型；Sora物理悖谬的几何解释；Groq推出全球最快大模型
haleycat的博客
02-21 1202
ConsiStory是一种免训练的一致性连贯文生成图模型，由英伟达和特拉维夫大学的研究人员开发。它解决了文生成图模型在生成内容一致性方面的两个主要问题。首先，ConsiStory使用主体驱动自注意力（SDSA）模块来共享主体相关的视觉信息，使不同图像中的主体保持一致的外观。其次，它通过特征注入方法在图像之间共享自注意力输出特征，从而增强不同图像之间细节层面的一致性。此外，ConsiStory还使用锚图像和可重用主体来提供主题信息的参考功能，并实现主题一致性。
Consistory 无需训练的高效人物一致性生成方法
qq_62075214的博客
10-17 1126
目前的文本生成图像模型在不同提示下始终如一地呈现相同主题存在挑战。现有方法通过微调模型或向模型添加图像条件，但这些方法耗时较久甚至需要大规模的预训练。此外，它们在生成的图像与文本提示对齐方面存在困难，添加图像条件之后往往会使得模型生成结果与提示词相差较大，并且难以表现多个主题。Consistory有效的解决了这些问题，其无需训练，推理速度快，且生图效果非常好，在多主题一致性中也有不俗的表现。
无需训练的一致性文本到图像生成技术
步子哥的博客
07-07 910
ConsiStory的核心思想是通过共享预训练模型的内部激活来实现一致的主体生成。主体驱动的共享注意力模块: 这个模块能够在不同的图像生成过程中保持主体的一致性。基于对应关系的特征注入: 通过这种技术,可以进一步增强生成图像之间主体的一致性。布局多样性策略: 在保持主体一致性的同时,ConsiStory还开发了一些策略来鼓励生成图像在布局上的多样性。这种方法的一个显著优势是,它无需任何优化步骤就能实现出色的主体一致性和文本对齐性能。
【AIGC 概念理解】Zero-Shot，One-Shot，Few-Shot，In-Context Learning，Tuning-Free/Training-Free/Inference-Only
weixin_44212848的博客
06-23 6067
Zero-shot learning是一种极端的少样本学习（）方法，它使得模型能够在完全没有见过目标类样本的情况下进行预测。模型通过在训练阶段学习到的特征和类描述之间的关系来实现这一点。
One-Prompt-One-Story：无须训练即可保持身份一致性
随便写写
02-17 1104
在长提示符中，身份信息是通过上下文理解隐式维护的，我们称之为语言模型的上下文一致性。例如：A dog is watching the movie. Afterward, the dog is lying in the garden.（我们可以知道在这一段话中，这只狗代表的是同一只狗，因为在同一段话出现）单提示生成设置下，文本嵌入空间中彼此之间的语义距离相对较小，而跨多提示生成设置的文本嵌入空间彼此之间的语义距离相对较大。
『千言：面向事实一致性的生成评测比赛』基线系统
m0_63642362的博客
11-10 815
千言：面向事实一致性的生成评测比赛。 比赛报名链接： https://aistudio.baidu.com/aistudio/competition/detail/105
数据集-目标检测系列- 口红嘴唇 数据集 lips ＞＞ DataBall
最新发布
DATABALL 的博客
06-06 585
数据集-目标检测系列- 口红嘴唇 数据集 lips ＞＞ DataBall
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

猴猴猪猪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值