【SD教程】ControlNet LineArt、IP-Adapter、RMBG插件的使用

于 2025-04-22 17:45:23 发布
阅读量998 收藏 13
点赞数 18
分类专栏： AIGC SD教程 Stable Diffusion 文章标签： 人工智能 stable diffusion AI作画 AI绘画 AI教程 插件 SD插件
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Java_Joker/article/details/147427092
版权

大家好！让我们开始今天的学习吧！芜湖！起飞！

今天我们学习的是用ControlNet LineArt 的扩展使用

img

一、动漫角色的真人化

lineart的作用就是提取图片中的线稿，然后基于线稿重新作画

img

让我们试一下

img

讲一下预处理器的参数效果

img

二次元提取线稿选这两个

img

去噪的版本更加清晰

img

适用于真人图像提取线稿

img

这两个适用于白底黑线，也就是普通的线稿图

img

这个比较少用，如果你不想让画面死扣的话就用这个

使用lineart开启完美像素模式img

选用的角色是可爱的可莉

通过tag器反推提示词

嗯。。。

img

后面看过来其实这张很不错了。。

否则就是–》

img

你别说五官还挺完整的就是不知道为什么怪吓人的

img

img

有时候一个人憋笑挺无力的。。。

所以二次转三次最好不要选择幼态的（）

二、 IP Adapter

这一步我卡了两天，今天花了至少一个上午和一半的下午在解决这件事情

由于forge版本的SD安装路径和webUI路径不同

导致我调试了很多遍都没有成功

最后尝试的是使用旧版本webUI安装，没想到终于成了

在这个大量翻阅资料的过程中我也了解了ip-adapter的其他用法

  1. 风格迁移

    文生图中在controlnet中选用ipadapter

    导入风格参考图

    权重设置为0.8防止过度学习

img

img

通过tag反推器生成角色ip的外形描述，并发送到文生图中

记得删除提示词中的颜色提示词，防止干扰

img

开启第二个controlnet使用lineart提取线稿

经过调试之后，可爱的星空可莉诞生啦

这个皮肤还挺好看的(就是手有小瑕疵）

img

img

2.人脸替换

如图，选择使用face-ipadapter

输入适当的提示词

img

出图结果

img

3.材质迁移

如图所示开了三个controlnet

注意ipadapter不要选择face版本的否则会报错

img

img

img

成图

img

三、RMBG插件的使用（remove back ground）

不得不说每次下载插件就像是渡劫的感觉,已经尝试了半天了

另外我觉的我需要补一下硬件知识了

img

各种报错

img

这已经远超我的能力范围了

我已经把网上现有的解决方案

看到很多教程都是专门对于comfiui做适配

我后面学习这个的时候再安装吧

！！！！！

我去我终于弄好了！！！

啊啊啊

img

感动流涕啊啊啊啊啊

方法是将原有的文件onnxruntime删除，下载一个大佬的py文件

自动下载对应插件

img

大佬指路

好继续学习

一般我们设置缩放比例为1

img

吐出需要抠出的人像之后点击回送蒙版可以生成黑白图片

img

img

然后打开图生图

选择蒙版重绘

选择重绘非蒙版区域

填充

调满重绘幅度

img

为了让人物和背景衔接流畅需要使用controlnet的局部重绘

img

成图

img

如果有需要特定的背景，并有相应的图像可以再开一个controlnet的lineart

img

成图

img

后面回顾发现这里的模型选择成真实系了

如果使用二次元画风应该会更好

四、线稿生图的运用

如图，使用lineart

img

用可莉的反推词作为提示词

img

已经可以生成很不错的效果了

这期教程我真的是花了很大力气

主要是在各种插件debug上

但是也肉眼可见的，学会了耐心，一次次尝试

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

零基础AI绘画学习资源介绍

👉stable diffusion新手0基础入门PDF👈

（全套教程文末领取哈）
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

在这里插入图片描述

温馨提示：篇幅有限，已打包文件夹，获取方式在：文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

【深度学习】IP-Adapter-FaceID，IP-Adapter: Text Compatible Image Prompt Adapter for Text-to-Image Diffusion
q742971636的博客
04-01 1776
近年来，大型文本到图像扩散模型的强大能力在创造高保真图像方面取得了令人印象深刻的成果。然而，仅使用文本提示来生成所需图像是非常棘手的，因为这通常涉及复杂的提示工程。文本提示的一个替代方案是图像提示，正如俗话所说：“一幅图胜过千言万语”。尽管现有的直接从预训练模型进行微调的方法有效，但它们需要大量的计算资源，并且与其他基础模型、文本提示和结构控制不兼容。在本文中，我们提出了IP-Adapter，这是一种有效且轻量级的适配器，用于实现预训练文本到图像扩散模型的图像提示能力。
【深度学习】COntorlNet，[1.1.428] IP-Adapter FaceID
q742971636的博客
05-21 554
总之，从源代码构建 insightface 需要编译一些 C++ 代码，原则上应在此仓库中尽量避免这样做。FaceID 需要 insightface，您需要在您的 A1111 虚拟环境中安装它们。下表显示了每个 FaceID IPAdapter 模型应使用的检查点和预处理器的组合。IP-Adapter FaceID 提供了一种从图像中提取仅面部特征并将其应用于生成图像的方法。卸载 insightface 模型。IP-Adapter FaceID 实现目前仅提取图像中检测到的第一个面部的特征。
Stable Diffusion绘画 | ControlNet应用-Lineart(线稿)：轻轻松松画线稿
Leo-Fighting的博客
08-14 1782
PS：Stable Diffusion 识别和生成的线稿都是黑底白线的，跟现实中白底黑线的线稿图刚好相反，需要先将上传的图片转成黑底白线的效果，选择预处理器「invert」另外，Lineart(线稿) 也适合用来实现手稿转绘的效果。专门用来提取线稿的算法。
Stable Diffusion基础：ControlNet之线稿成图
程序员小麦的博客
04-29 2785
感兴趣的小伙伴，赠送全套AIGC学习资料，包含AI绘画、AI人工智能等前沿科技教程和软件工具，具体看这里。​AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。
【SD零基础教程】ControlNet LineArt、IP-Adapter、RMBG插件的使用
2301_80239908的博客
02-14 274
lineart的作用就是提取图片中的线稿，然后基于线稿重新作画
一键把二次元老婆拉进现实（Stable Diffusion进阶：ControlNet LineArt模型）
HJS123456780的博客
11-29 943
能将老婆拉进现实，成为你的专属女友。本文将带你深入了解ControlNetLineArt模型的使用方法，助你轻松实现这一梦想。ControlNet LineArt模型是StableDiffusion的最新进阶版本，它能够将二次元动漫人物以LineArt的形式生成现实中的照片。这一功能的出现，让二次元老婆瞬间变得触手可及，成为现实中的女友。其实在很早之前我曾和我的爸妈说过我找了一个喜欢玩cos的，并借此申请了一些经费用于购买服饰啥的。当然我没有说谎，我真的拿去买新衣服了，也是买给我的老婆“们”的。
2024最新controlnet详解：IP-Adapter 的使用方法
Yu91an的博客
06-27 6129
IP-Adapter是腾讯AI实验室发布的一个专门为预训练的文本到图像扩散模型（如Stable Diffusion）设计的适配器。其主要功能是通过图像提示来生成图像，能够复制参考图像的风格、构图或人物特征。IP-Adapter的核心设计包括一个图像编码器和解耦的交叉注意力机制，这使得它能够将图像特征嵌入到预训练的文本到图像扩散模型中，从而实现图像提示的生成能力。此外，IP-Adapter还可以与其他控制器如ControlNet结合使用，以进一步增强其功能。
虚拟试衣&人像合成新SOTA！IMAGDressing-v1:ControlNet和IP-Adapter的最佳拍档
AIGCer的博客
07-19 1882
如前面图3所示，去噪UNet中的基本模块权重是冻结的，这使得服装UNet实际上成为一个适配器模块，与其他社区适配器兼容，以实现自定义面部和姿势生成。例如，要生成穿着给定服装和一致姿势的人的图像，IMAGDressing-v1可以与ControlNet-Openpose结合。要生成穿着指定服装的特定个人，IMAGDressing-v1可以与IP-Adapter集成。此外，如果需要同时指定姿势和面部，IMAGDressing-v1可以与ControlNet-Openpose和IP-Adapter结合使用。
效果超越ControlNet+IP-Adapter和FreeControl！Ctrl-X：可控文生图新框架（加州大学&英伟达）
AIGCer的博客
06-16 1155
使用模板和手动注释来制作结构、外观和输出文本提示。Ctrl-X利用了预训练的T2I扩散模型的特征对应关系，支持任意的结构图像条件，适用于多种模型架构，并在与基于训练和指导的方法相比取得了竞争性的结构保留和更优异的外观迁移，同时享受了无需指导方法的低开销优势。如下图4和图5所示，Ctrl-X从各种结构图像中忠实地保留了结构，包括自然图像和ControlNet支持的条件（如HED、分割），以及野外条件（如线框、3D网格），这在先前的基于训练的方法中是不可能的，同时灵活地从外观图像中转移外观，具有语义对应关系。
IP-Adapter学习
菜鸟的博客
09-13 391
主要原理：提取图像特征，并嵌入预训练文本，最终加入到扩散图像中。简单理解，提取图像的特征：构图特征、面部特征，根据权重参数与原prompt进行融合，共同作用到扩散图像上。相关文档：https://baijiahao.baidu.com/s?参考：https://baijiahao.baidu.com/s?简单案例：https://blog.csdn.net/qq_41314882/article/details/140517620。从条件图中提取特征，包括前景、背景结构，任务特征等。
一篇搞定！Stable Diffusion中ControlNet的所有控制类型全掌握
z19981的博客
09-13 1932
介绍SD（Stable Diffusion）中，ControlNet绝对是一个绕不开的神器！它不仅能让你生成的图片更符合预期，还能控制线条、姿势、色彩等多种细节，真正做到“所想即所得”。今天这篇文章，一图流展示ControlNet的各种控制类型和效果。简单易懂，帮你快速掌握ControlNet控制类型！文章有点长，建议码住。温馨提示🔔：本节生图时均用基础大模型且没有添加复杂文本提示词，只为展示各控制类型效果，便于小白也能跟着实操！线条控制。
ControlNet 1.1重磅发布，14个模型全部开源！
热门推荐
yanqianglifei的专栏
04-15 1万+
来源：https://github.com/lllyasviel/ControlNet-v1-1-nightlyControlNet 1.1 与 ControlNet 1.0 具有完全相同的体系结构,ControlNet 1.1 包括所有以前的模型，具有改进的稳健性和结果质量,并添加了几个新模型。
AI绘图的场景应用：文生图、图生图
qq_41314882的博客
03-15 5332
AIGC技术的未来发展前景广阔，随着人工智能技术的不断发展，AIGC技术也将不断提高。未来，AIGC技术将在游戏和计算领域得到更广泛的应用，使游戏和计算系统具有更高效、更智能、更灵活的特性。同时，AIGC技术也将与人工智能技术紧密结合，在更多的领域得到广泛应用，对程序员来说影响至关重要。未来，AIGC技术将继续得到提高，同时也将与人工智能技术紧密结合，在更多的领域得到广泛应用。感兴趣的小伙伴，赠送全套AIGC学习资料和安装工具，包含AI绘画、AI人工智能等前沿科技教程，模型插件，具体看下方。
【SD进阶篇】：漫改真人之ControlNet实现
Misdirection_XG的博客
11-28 852
（全套教程文末领取哈）
webUI下使用IP-adapter的简要说明
聚梦小课堂
03-17 9251
IP-adapter是一个最近比较火的模型，但是在webUI下使用，经常会报各种各样的错误，这里简单讲一下模型匹配问题的处理方式，希望对你有帮助。
SD插件ControlNet详解 让AI更易掌控！
m0_58477260的博客
08-23 1341
Stable Diffusion是目前应用最广泛的本地AIGC，AI的最大特点就是强随机性，虽然在大部分时候它是优点，但难以掌控，随机抽卡也让用户颇为头疼。今天我们就为大家详细介绍一下Stable Diffusion中的ControlNet插件，它可以极大降低抽卡的随机性，让用户更容易的控制AI出图。
IP-Adapter模型的安装与使用教程
gitblog_02613的博客
12-12 2486
IP-Adapter模型的安装与使用教程 IP-Adapter 项目地址: https://gitcode.com/mirrors/h94/IP-Adapter 引言 在当...
AI绘画 阻击Flux！SD 3.5也出官方ControlNet了！
ice829的博客
11-28 500
在一项有大约150名参与者的ELO人工评测中，对于相同的控制类型，Stable Diffusion 3.5 Large ControlNets在用户偏好中排名同类模型第一，超过开源的Flux和SDXL的ControlNet模型。除此之外，ComfyUI官方也已经支持SD 3.5 Large开源的ControlNet模型了，具体见https://blog.comfy.org/sd3-5-large-controlnet/。所以SD 3.5的生态也算完整了，可以和Flux一较高下了。
ip-adapter
最新发布
03-31
<think>好的，我现在需要帮助用户了解和使用IP-Adapter相关的技术或项目。首先，我需要仔细阅读用户提供的引用内容，确定这些资料中提到的关键信息。 根据引用1到5，IP-Adapter的主要功能是将图像提示集成到预训练的文本到图像扩散模型中，从而实现以图像为提示生成图像。项目地址有多个，包括GitCode和Hugging Face的仓库。另外，引用5提到IP-Adapter与InstantID结合使用可以提高人脸相似度，这可能是用户关心的应用场景之一。 用户现在需要技术文档或使用教程，所以我应该整理这些资源并提供步骤指导。首先，我需要确认各个项目仓库是否有官方文档。通常，GitHub或GitCode的项目会在README文件中提供安装和使用说明。Hugging Face的模型库通常也会有使用示例。 接下来，我应该分步骤介绍如何安装IP-Adapter，例如通过克隆仓库、安装依赖库等。然后，给出一个基本的使用示例，可能包括加载预训练模型、准备图像提示、生成图像等。此外，引用5提到的结合InstantID的方法需要特别说明，因为用户可能对提高人脸相似度感兴趣。 需要注意的是，用户可能不熟悉技术细节，所以步骤要尽量清晰，避免使用过于专业的术语，或者在必要时进行解释。同时，要确保提供的代码示例正确，并提醒用户注意依赖项和版本兼容性问题。 另外，需要检查是否有引用内容中的错误或冲突。例如，引用1和引用2的项目地址不同，但都是IP-Adapter的不同镜像仓库，应该指出主要仓库和备用选项。引用3的Hugging Face链接可能提供模型文件，用户需要下载这些文件来使用预训练权重。 最后，生成的相关问题要围绕IP-Adapter的应用、优化和常见问题，帮助用户进一步探索。例如，如何解决生成图像的质量问题，或者如何在不同场景下调整参数。 总结回答结构：先概述IP-Adapter的作用，然后提供技术文档和教程的资源链接，接着分步骤介绍安装和使用方法，结合InstantID的案例，最后列出相关问题。</think># IP-Adapter技术文档与使用教程 IP-Adapter是一种创新的图像提示适配器，可将图像作为控制条件整合到文本到图像生成模型中，显著提升生成内容与参考图像的相似度[^2]。以下是技术文档与使用教程的完整指南： --- ## 一、技术文档资源 1. **官方代码仓库** - 主仓库：https://gitcode.com/mirrors/h94/IP-Adapter [^1] - 备用镜像：https://gitcode.com/gh_mirrors/ip/IP-Adapter [^2] - 包含完整代码、模型权重与基础API文档 2. **预训练模型下载** 访问Hugging Face获取模型文件： ```bash https://huggingface.co/h94/IP-Adapter/tree/main # 包含ip-adapter-plus、ip-adapter-face等变体[^3] ``` 3. **进阶应用案例** 与InstantID结合实现高精度人脸生成： ```python # 示例代码片段（需配合Stable Diffusion使用） from IPAdapter import IPAdapter ip_model = IPAdapter(pretrained_model="sd1.5", ip_ckpt="ip-adapter-face.bin") ``` --- ## 二、基础使用教程 ### 步骤1：环境搭建 ```bash git clone https://gitcode.com/mirrors/h94/IP-Adapter.git cd IP-Adapter pip install -r requirements.txt # 安装PyTorch、Diffusers等依赖[^1] ``` ### 步骤2：模型加载 ```python from diffusers import StableDiffusionPipeline from IPAdapter import IPAdapter # 加载基础模型 pipe = StableDiffusionPipeline.from_pretrained("runwayml/stable-diffusion-v1-5") # 注入IP-Adapter ip_model = IPAdapter(pipe, "models/ip-adapter-plus_sd15.bin", "cuda") ``` ### 步骤3：图像生成 ```python image_prompt = load_image("reference.jpg") # 加载参考图像 prompt = "a cartoon character in cyberpunk style" output = ip_model.generate( prompt=prompt, image=image_prompt, num_samples=4, guidance_scale=7.5 ) ``` --- ## 三、关键技术特性 ### 1. 多模态控制 $$ \text{生成质量} = f(\text{CLIP图像编码}, \text{文本嵌入}, \theta_{LoRA}) $$ 通过交叉注意力机制融合图像特征与文本特征 ### 2. 性能优化方案 - **内存优化**：使用`torch.compile()`加速推理 - **精度控制**：设置`cross_attention_scale=0.8`平衡图像/文本影响 --- ## 四、实战案例：结合InstantID提升人脸相似度[^5] ```python # 加载双适配器 ip_adapter = IPAdapter(..., face_model=True) instant_id = InstantID(...) # 联合生成 output = pipe.generate( text_prompt="professional photo", image=face_ref_image, ip_adapter=ip_adapter, instant_id=instant_id, controlnet_scale=0.3 ) ``` > 该方法可使人脸相似度提升40%以上[^5] --- §§ 1. 如何解决IP-Adapter生成图像与文本提示不符的问题？ 2. 使用IP-Adapter需要怎样的硬件配置？ 3. 能否在ComfyUI中集成IP-Adapter？ 4. IP-Adapter与其他适配器（如ControlNet）有何本质区别？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值