生成式人工智能 - 文本反转（Textual Inversion）：一种微调稳定扩散模型的方法

最新推荐文章于 2025-03-30 00:18:49 发布
最新推荐文章于 2025-03-30 00:18:49 发布
阅读量627 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 深度学习从入门到精通 文章标签： 人工智能 Textual Inversion 文本反转
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/bashendixie5/article/details/139551009
本文介绍了文本反转技术，一种用于稳定扩散模型的微调方法，允许用户通过示例图像向模型教授新概念，从而实现个性化文本到图像生成。文本反转通过寻找新嵌入向量来表示新概念，不需重新训练模型，适用于图像变化、风格迁移、概念构成等多种应用场景。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、简述

        大型文本到图像稳定扩散模型已经展示了前所未有的能力，可以使用文本提示合成新场景。这些文本到图像模型提供了通过自然语言指导创作的自由。然而，它们的使用受到用户描述特定或独特场景、艺术创作或新实体产品的能力的限制。很多时候，用户被限制行使她的艺术自由来生成特定独特或新概念的图像。此外，使用新数据集为每个新概念重新训练模型非常困难且成本高昂。

        论文《一张图片胜过一个词：使用文本反转进行个性化文本到图像生成》提供了一种简单的方法来使得这种创作更自由。

Textual Inversion：使用一些反映特定概念的图像向基础模型传授有关该概念的新词汇。

        Textual Inversion

了解本专栏 订阅专栏 解锁全文
深入探索Stable Diffusion：Dreambooth与Textual Inversion的结合应用
m0_74337424的博客
04-16 49
我们需要为模型定义要理解的概念。
使用文本反转技术微调Stable Diffusion模型
最新发布
m0_62153576的博客
04-12 85
我们需要为模型定义要理解的概念。首先建立和变量。是一个尽可能概括概念的物体或风格的单词。然后定义概念是物体（可能是图像中的物理对象）还是风格（图像中一致的模式或风格）。概念名称也用作，它用于一系列标准化句子中，帮助模型将特征与提示联系起来。在本次演示中，我们将概念命名为‘grooty’，并使用初始化令牌‘groot’。我们使用作为噪声调度器，同时设置训练的超参数。
文本反转(Text Reverse)
The_B1的博客
01-24 673
伊格内修斯喜欢用相反的方式写字。给定 Ignatius 编写的一行文本，您应该反转所有单词，然后输出它们。输入包含多个测试用例。输入的第一行是一个整数 T，它是测试用例的数量。接下来是 T 个测试用例。每个测试用例都包含一行包含多个单词的行。一行最多有 1000 个字符。对于每个测试用例，您应该输出已处理的文本。
Textual Inversion：使用文本反转个性化文本到图像的生成
weixin_47748259的博客
04-23 2560
其中包含“S* 的照片”、“S* 的演绎”等形式的提示。我们可以从上图 中生成的图像看到，利用的pseudo word和新条件文本中的语义概念可以创建新的场景。由于SD中的UNet是使用预先训练好的大规模文本到图像模型建立的，因此一个通过学文本反演学习好的嵌入可以在不同扩散模型中重复使用。因此，文章通过在预训练的文本到图像模型的文本嵌入空间中查找新词来克服这些挑战：仅使用用户提供的概念（例如对象或风格）的 3-5 个图像，我们学习通过冻结文本到图像模型的嵌入空间中的新“单词”来表示它。
Textual Inversion: 一种精调Stable Diffusion模型的方法
GarryWang1248的博客
12-17 8294
最近的文本到图像Stable Diffusion （SD）模型已经证明了使用文本提示合成新颖场景的前所未有的能力。这些文本到图像的模型提供了通过自然语言指导创作的自由。然而，它们的使用受到用户描述特定或独特场景、艺术创作或新物理产品的能力的限制。很多时候，用户被迫行使她的艺术自由来生成特定的独特或新概念的图像。此外，使用新数据集为每个新概念重新训练模型非常困难且昂贵。论文《》提供了一种简单的方法来允许这些创作自由。
Textual Inversion on diffusers
weixin_44966641的博客
12-09 1020
参考自官方文档：https://huggingface.co/docs/diffusers/training/textual_inversion_inference、https://huggingface.co/docs/diffusers/training/text_inversion?
SD模型微调之Textual Inversion和Embedding fine-tuning
haopinglianlian的博客
12-20 1188
SD模型微调方法Textual Inversion详细介绍，包括数据集准备，模型微调过程，推理过程，优缺点等。
【生成模型之二十】一种无需微调遵循文本指令的图像编辑算法—InstructPix2Pix
Jeremy_lf的博客
03-30 820
论文：InstructPix2Pix: Learning to Follow Image Editing Instructions类型：Image Editing\Text-to-Image总结：提出了一种遵循文本指令的图像编辑算法，利用GPT-3与SD生成三元图像编辑训练数据，包括输入caption、编辑指令、输出caption，利用prompt-to-prompt来保证图像非编辑内容一致；
生成式~扩散模型
whaosoft143ai的博客
02-02 1734
001 (2024-02-1) Distilling Conditional Diffusion Models for Offline Reinforcement Learning through Trajectory Stitching https://arxiv.org/pdf/2402.00807.pdf002 (2024-02-1) AnimateLCM Accelerating the Animation of Personalized Diffusion Models and Ad
【文章系列解读】AI绘图必读模型：Derambooth和Textual Inversion
JackCrum的博客
06-28 1896
总体而言，文章想要实现的效果是输入（目前看是单物体的），通过文本“a [v] [class]”，对模型进行（例如图片上坐上，输入是若干张同一只狗的图片，以及a [v] [dog]）。为了避免模型过拟合在输入的狗上，文章引入了。保留损失意指，先通过预训练模型生成若干张狗这一类的图片。
Raki的读paper小记：An Image is Worth One Word Personalizing Text2Image using Textual Inversion
Raki_J的博客
09-25 2369
跟prompt非常类似，但是用了图片在特征空间的表示来学习。
Text Inversion: 比 Lora 更简单地训练人脸【Stable Diffusion 炼丹教程】
阿道夫的博客
08-30 1023
在AI和机器学习领域，embedding是一种将离散变量（如单词）映射为连续向量的技术。这些向量代表了高维空间中的点，能够捕捉到变量之间的某些关系，如语义相似性。
浅析扩散模型与图像生成【应用篇】(二十六)——Null-text Inversion
深视
05-16 2004
本文提出一种文本驱动的真实图像编辑方法，号称是首次提出对真实图像进行文本编辑的方法。为了保证生成的图像和输入图像之间的相似性，现有的扩散过程，通常使用DDIM来进行扩散。但作者发现，DDIM扩散得到的噪声图在进行无条件采样时，能够得到很好的重建结果。而当增加了无分类器的文本条件引导时，生成结果就会有很大的偏差。为了解决这个问题，作者提出了两个举措：一是使用DDIM在无条件采样过程中得到的生成轨迹作为一个中枢轨迹；二是将无分类器引导采样时用到的空文本条件，改成了一个训练得到的文本条件。
diffusers中textual inversion微调
liguandong
09-18 488
【代码】diffusers中textual inversion微调。
[论文解析] Null-text Inversion for Editing Real Images using Guided Diffusion Models
Joselynzhao
12-09 5005
在本文中，我们引入了一种精确的反演技术，从而方便了直观的基于文本的图像修改。(i)扩散模型的关键反演。我们为每个时间戳使用单个关键噪声向量，并围绕它进行优化。我们证明了直接反演本身是不够的，但确实为我们的优化提供了一个很好的锚定。(ii)空文本优化，我们只修改用于无分类器引导的无条件文本嵌入，而不是输入文本嵌入。这允许保持模型权重和条件嵌入不变，因此可以应用基于提示的编辑，同时避免对模型权重进行繁琐的调优。在各种图像和提示编辑上进行了广泛的评估，显示了对真实图像的高保真编辑。
stable diffusion实践操作-embedding（TEXTUAL INVERSION）
weixin_43360707的博客
09-01 2642
本文专门开一节写图生图相关的内容，在看之前，可以同步关注：stable diffusion实践操作可以理解为提示词的集合，可以省略大量的提示词。后缀safetensors，大小几十kb。
Null-text Inversion for Editing Real Images using Guided Diffusion Models
qq_43800752的博客
03-27 2011
在本文中，我们介绍了一种精确的反转技术，从而有助于直观地对图像进行基于文本的修改。我们提出的反演由两个新的关键组成部分组成：（i）扩散模型的关键反演。虽然目前的方法旨在将随机噪声样本映射到单个输入图像，但我们为每个时间戳使用一个关键噪声向量，并围绕它进行优化。我们证明，直接反演本身是不够的，但确实为我们的优化提供了一个很好的锚。（ii）空文本优化，其中我们只修改用于无分类器引导的无条件文本嵌入，而不是输入文本嵌入。
如何在稳定扩散模型基准模型上添加自己的想法
03-14
<think>好的，用户想知道如何在Stable Diffusion的基础模型上做自定义修改或者加入新想法。首先，我需要回顾一下Stable Diffusion的基本结构，它通常包括VAE、U-Net和CLIP文本编码器这几个部分。用户的需求应该是想调整这些部分来加入自己的创意，比如改变风格或者优化生成效果。 接下来，我应该考虑常见的方法。LORA模型应该是一个常用的技术，因为它允许在不改变原模型的情况下进行微调。用户可能对LORA不太了解，需要简单解释一下，比如它是通过低秩适应来调整模型权重，适合风格迁移或者特定主题的训练。引用中的资料[2]提到了LORA的模型剪枝和稀疏化，可能可以结合这部分内容说明其灵活性和未来潜力。 然后是Dreambooth，这个方法适合生成特定主体或风格的模型，但需要较多的计算资源。用户可能需要权衡资源与需求，如果他们有足够的算力，Dreambooth可能是个好选择。另外，文本反转（Textual Inversion）也是一种方法，通过嵌入向量来捕捉新概念，不过生成效果可能不如前两者。 接着，用户可能需要具体的操作步骤，比如如何训练LORA模型。这时候需要分步骤说明，包括数据准备、训练配置、模型保存和应用。引用[4]里提到的将模型文件放入指定文件夹的步骤，可以在这里引用，说明实际应用时的操作。 另外，用户可能关心如何结合基础模型进行修改，比如调整U-Net结构或修改文本编码器。这部分需要技术性稍强的指导，可能需要一定的编程和深度学习知识。同时，可以提到Hypernetwork的方法，作为另一种微调选项。 最后，生成相关问题时，要覆盖用户可能进一步询问的方向，比如性能优化、不同方法的优缺点比较，或者具体应用场景。引用中的资料[2]和[3]提到了优化和实战案例，可以作为问题的基础。 需要确保回答结构清晰，分点说明不同的方法，每个方法都给出适用场景和步骤，并引用相关的资料来支持。同时，语言要尽量口语化，避免过于技术化，让用户容易理解。可能还需要提醒用户注意计算资源的需求，以及不同方法的优缺点，帮助他们选择最适合自己情况的方式。</think>要在Stable Diffusion基础模型上实现自定义修改或融入创意，可通过以下分步方法实现： ### 一、核心修改路径 1. **微调训练（Fine-tuning）** - 使用特定数据集（如迪士尼风格插画）在基础模型上继续训练 - 示例代码框架： ```python from diffusers import StableDiffusionPipeline # 加载基础模型 pipeline = StableDiffusionPipeline.from_pretrained("stabilityai/stable-diffusion-2-base") # 配置训练参数 training_args = TrainingArguments( output_dir="./custom_model", learning_rate=1e-5, per_device_train_batch_size=2 ) ``` 通过调整学习率和批次大小控制训练强度[^3] 2. **LoRA（低秩适应）技术** - 在不修改原始权重的前提下添加适配层 - 优势：仅需训练约1%的参数，保存文件小（通常<200MB） - 实现步骤： - 准备50-100张目标风格的图像 - 使用Kohya_SS训练脚本配置低秩维度（rank=128） - 生成.bin格式的适配器文件[^2] ### 二、创意融合技巧 1. **风格注入** - 通过CLIP文本编码器扩展关键词库 - 添加自定义描述符如"Modern Disney style"到提示词 - 配合ControlNet实现构图控制 2. **模型混合（Merge）** - 使用加权平均法融合多个模型： ```python def model_merge(base_model, custom_model, alpha=0.3): merged_state_dict = { key: (1-alpha)*base_params + alpha*custom_params for (key, base_params), custom_params in zip(base_model.items(), custom_model.items()) } return merged_state_dict ``` 通过调整alpha参数（0.2-0.5）控制风格强度[^4] ### 三、部署与优化 1. **性能优化** - 应用模型剪枝：移除U-Net中贡献度<5%的通道 - 启用半精度推理（FP16）提升生成速度30% 2. **效果调试** - 建立验证集评估指标： - 风格一致性得分（SCS） - 文本对齐度（T2I-ACC） - 生成耗时（秒/图） ### 四、实践案例 迪士尼风格改造流程： 1. 收集500张现代迪士尼官方艺术图 2. 使用Dreambooth进行主体特征学习 3. 叠加LoRA适配器调整色彩风格 4. 通过Xformers优化内存占用 5. 输出融合模型文件（约3.8GB）[^1]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

坐望云起

如果觉得有用，请不吝打赏

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值