Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation

最新推荐文章于 2025-06-04 23:56:57 发布
最新推荐文章于 2025-06-04 23:56:57 发布
阅读量396 收藏 2
点赞数 5
分类专栏： paper reading 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_44994838/article/details/143135031
版权
  1. 问题引入
  • 针对的还是图片编辑的问题，但是更多的偏向于text guided I2I，给出原始图片以及编辑后的prompt，得到编辑之后的图片，原始图片提供结构上的一个控制，在本文的主要通过首先将原图进行reversion，取得对应的cnn block以及self attn层的feature，之后在去噪的过程中进行逐步注入实现；
  • 本文方法不需要额外的训练；
  1. methods
    在这里插入图片描述
  • 定义编辑前后的图片以及目标prompt I G , I ∗ , P I^G,I^*,P IG,I∗,P；在这里插入图片描述
Adding Conditional Control to Text-to-Image Diffusion Models
liguandong
03-07 4263
controlnet的核心在于给stable diffusion施加了精准控图，stable diffusion生成的图本质上是通过prompt进行引导从噪声中生成的，text是唯一的输入，controlnet输入了text之外额外的一个维度，目前论文支持canny边缘图，hough线条，hed边缘图，简笔图，pose人体姿态，分割图，深度图等。在流程上，依然是输入图片和prompt，controlnet会先从图片中提取线框图，再输入prompt和线框图即可生成新图。从技术上，controlnet对stab
视觉 文生图模型学习过程
m0_52945258的博客
09-17 863
持更
[论文解析]Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation
Joselynzhao
03-31 1955
提出了一种新的框架，将文本到图像合成应用到图像到图像的翻译领域——给定一个引导图像和一个目标文本提示作为输入，我们的方法利用预先训练好的文本到图像扩散模型的力量来生成一个符合目标文本的新图像，同时保留引导图像的语义布局。
【I2I】Plug-and-Play Diffusion Features for Text-Driven Image-to-Image Translation
2201_75801514的博客
01-13 955
大规模文本到图像生成模型是生成式人工智能发展过程中的一个革命性突破，它可以合成具有高度复杂视觉概念的各种图像。然而，利用这些模型进行现实世界内容创建的一个关键挑战是如何让用户控制生成的内容。在本文中，我们提出了一个新的框架，将文本到图像的合成提升到图像到图像的翻译领域--给定一个引导图像和一个目标文本提示作为输入，我们的方法利用预先训练好的文本到图像扩散模型的力量，生成一个符合目标文本的新图像，同时保留引导图像的语义布局。具体来说，我们通过观察和经验证明，
探索创新：PnP-Diffusion——文本驱动图像到图像翻译的插件式扩散特性
gitblog_00039的博客
05-17 567
探索创新：PnP-Diffusion——文本驱动图像到图像翻译的插件式扩散特性 去发现同类优质开源项目:https://gitcode.com/ 在这个快速发展的数字时代，图像处理和人工智能技术正以前所未有的速度改变着我们对视觉艺术和媒体的理解。PnP-Diffusion（Plug-and-Play Diffusion Features）是一个开创性的开源项目，它将文本驱动的图像到图像翻译提升到了...
浅析扩散模型与图像生成【应用篇】(二十五)——Plug-and-Play
深视
05-15 1374
该文提出一种文本驱动的图像转换方法，输入一张图像和一个目标文本描述，按照文本描述对输入图像进行转换，得到目标图像。作者对输入图像进行重建，并将重建过程中的特征图和自注意力层中的相似性图抽取出来，注入到目标图像的生成过程中，从而实现对生成图像的布局、形状的约束和引导。文本的特征还是通过交叉注意力机制引入，来实现对目标图像的修改。
个人网页、博客、课程--不断更新
qq_27009517的博客
12-18 2827
论文和相关代码 ：https://paperswithcode.com/ Caiming Xiong http://www.stat.ucla.edu/~caiming/ 论文，代码，博客 肖小粤的啵嗑 http://xiaoxiaoyue.me/ 博客记录 小土刀 https://wdxtub.com/ 博客记录 博客 http://ruder.io/multi-task/...
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
【CVPR2019】论文完整列表一
热门推荐
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
ControlNet如何为扩散模型添加额外模态的引导信息？
Paper weekly
03-08 1857
©PaperWeekly 原创 ·作者 |中森单位 |IDEA研究院研究方向 |条件受控文本生成这篇文章主要讨论以下三篇论文：1. Sketch-Guided Text-to-Image Diffusion Models2. GLIGEN: Open-Set Grounded Text-to-Image Generation3. Adding Conditional Control to ...
图像转换 image translation系列（17）| 最新ICCV2021生成对抗GAN汇总梳理
idol24的博客
03-25 7414
（1）GAN改进系列 | 最新ICCV2021生成对抗网络GAN论文梳理汇总图像编辑系列之（2）基于StyleGAN（3）GAN逆映射（4）人脸 （5）语义生成 | ICCV2021生成对抗GAN梳理汇总图像恢复系列之（6）超分（7）反光去除（8）光斑去除 （9）阴影去除（10）水下图像失真去除 | ICCV2021生成对抗GAN图像恢复系列（11）之修复（inpaint...
CVPR2021 | 实时4K“image-to-image translation”，港理工&达摩院张磊团队提出拉普拉斯金字塔变换网络
聚焦底层视觉处理，对相关基础AI技术持续学习
04-25 1134
编辑：Happy 首发：AIWalker paper: https://www4.comp.polyu.edu.hk/~cslzhang/paper/LPTN-cvpr21-paper.pdf code: https://github.com/csjliang/LPTN 本文是港理工&达摩院张磊团队在image-to-image translation方面继3DLUT之后的又一力作。本文创造性的将拉普拉斯金字塔与深度学习进行了结合，对于拉普拉斯金字塔的分离、重建特性与image-to-ima.
Python实现P-PSO优化算法优化循环神经网络LSTM分类模型项目实战
张陈亚的博客
05-31 930
【摘要】本项目提出一种基于改进粒子群算法(P-PSO)优化LSTM神经网络的分类模型。针对传统LSTM训练中易陷入局部最优等问题，采用带压缩因子的PSO算法优化网络初始参数，提升模型性能。实验使用包含10个特征和2000条样本的数据集，经过数据预处理和探索性分析后，构建P-PSO-LSTM模型。结果表明，优化后的模型在测试集上准确率达95%，F1分数为0.9533，显著优于基准模型。该方法有效解决了LSTM训练过程中的参数敏感问题，为序列分类任务提供了可靠解决方案。完整数据和代码可通过文末方式获取。
NLP学习路线图（二十三）：长短期记忆网络（LSTM）
2501_91516851的博客
06-04 529
长短期记忆网络（LSTM）通过创新的门控机制解决了传统RNN的梯度消失问题。其核心是记忆单元和三个门（遗忘门、输入门、输出门），能够选择性保留长期依赖信息。相比RNN，LSTM的线性信息流使梯度有效传播，门控机制动态调节信息流动。LSTM在文本分类、序列标注、机器翻译等NLP任务中表现优异，并衍生出GRU、双向LSTM等变体。伪代码展示了LSTM单元的基本实现逻辑，包括门控计算和状态更新过程。
深度学习教学目录
FJN110的博客
05-30 655
深度学习课程：面向计算机视觉、深度学习小白，本产品包含但不限于以下文档 一、环境配置详解，全平台支持 提供Windows、Linux、树莓派、瑞芯微板（RK）等多平台下的PyTorch与TensorFlow环境配置教程，图文并茂，细致入微，确保每一位学习者都能顺利完成环境搭建。 同时，文档中还详细讲解了服务器部署、AI大模型运行、Docker容器配置、VNC远程连接等高级内容，适用于科研和生产环境。
PyTorch——优化器(9)
qq_56238664的博客
06-04 50
优化器根据梯度调整参数，以达到降低误差。
NLP学习路线图（二十四）：门控循环单元（GRU）
2501_91516851的博客
06-04 523
在自然语言处理（NLP）领域，处理序列数据（如文本、语音、时间序列）是核心任务。传统的前馈神经网络难以有效捕捉序列中的长期依赖关系。循环神经网络（RNN）应运而生，但其存在臭名昭著的梯度消失/爆炸问题，限制了其处理长序列的能力。为了解决这一瓶颈，门控循环单元（Gated Recurrent Unit, GRU） 作为一种强大的序列模型变体被提出，它在保持RNN核心思想的同时，显著提升了模型记忆和传递长距离信息的能力。
深度学习中的负采样
2302_76774649的博客
06-04 265
是一种在训练（尤其是在输出类别很多时）中，用来的方法。
【推荐算法】Embedding+MLP：TensorFlow实现经典深度学习推荐模型详解
最新发布
weixin_43988131的博客
06-04 555
Embedding+MLP：TensorFlow实现经典深度学习推荐模型详解
diffusion models as plug-and-play priors
10-29
扩散模型作为即插即用的先验模型。 扩散模型是一种常用的数学模型，在各个领域都有广泛应用，例如经济学、物理学和生物学等。在贝叶斯统计学中，扩散模型可以作为先验模型来描述随机过程。 "Plug-and-play"是一个常用的术语，用于形容一个系统或组件可以轻松插入到其他系统或组件中。在贝叶斯推断中，通过引入先验信息来更新后验概率，可以提高模型的准确性和预测能力。扩散模型因其数学性质和广泛应用而成为一种受欢迎的先验选择，可以作为"plug-and-play"的先验模型。 扩散模型作为先验模型的一个优点是其表达能力强，可以对多个参数进行建模，并能够反映参数之间的关联关系。此外，扩散模型能够很好地捕捉到随机性和不确定性，因为它是基于随机过程建立的。 另一个优点是扩散模型的灵活性。不同的扩散模型可以根据具体问题的需求进行选择和调整。这使得扩散模型能够适应不同的数据和问题领域。同时，扩散模型在参数估计和模拟推断等方面都有良好的性能。 总而言之，扩散模型作为一种"plug-and-play"的先验模型，具有强大的表达能力和灵活性，能够为贝叶斯推断提供有力的工具。通过适当选择和调整扩散模型，可以提高模型的准确性和预测能力，从而进一步推动科学研究和实践的发展。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值