【SD教程】ControlNet LineArt、IP-Adapter、RMBG插件的使用

部署运行你感兴趣的模型镜像

大家好!让我们开始今天的学习吧!芜湖!起飞!

今天我们学习的是用ControlNet LineArt 的扩展使用

img

一、动漫角色的真人化

lineart的作用就是提取图片中的线稿,然后基于线稿重新作画

img

让我们试一下

img

讲一下预处理器的参数效果

img

二次元提取线稿选这两个

img

去噪的版本更加清晰

img

适用于真人图像提取线稿

img

这两个适用于白底黑线,也就是普通的线稿图

img

这个比较少用,如果你不想让画面死扣的话就用这个

使用lineart开启完美像素模式img

选用的角色是可爱的可莉

通过tag器反推提示词

嗯。。。

img

后面看过来其实这张很不错了。。

否则就是–》

img

你别说五官还挺完整的就是不知道为什么怪吓人的

img

img

有时候一个人憋笑挺无力的。。。

所以二次转三次最好不要选择幼态的()

二、 IP Adapter

这一步我卡了两天,今天花了至少一个上午和一半的下午在解决这件事情

由于forge版本的SD安装路径和webUI路径不同

导致我调试了很多遍都没有成功

最后尝试的是使用旧版本webUI安装,没想到终于成了

在这个大量翻阅资料的过程中我也了解了ip-adapter的其他用法

  1. 风格迁移

    文生图中在controlnet中选用ipadapter

    导入风格参考图

    权重设置为0.8防止过度学习

img

img

通过tag反推器生成角色ip的外形描述,并发送到文生图中

记得删除提示词中的颜色提示词,防止干扰

img

开启第二个controlnet使用lineart提取线稿

经过调试之后,可爱的星空可莉诞生啦

这个皮肤还挺好看的(就是手有小瑕疵)

img

img

2.人脸替换

如图,选择使用face-ipadapter

输入适当的提示词

img

出图结果

img

3.材质迁移

如图所示开了三个controlnet

注意ipadapter不要选择face版本的否则会报错

img

img

img

成图

img

三、RMBG插件的使用(remove back ground)

不得不说每次下载插件就像是渡劫的感觉,已经尝试了半天了

另外我觉的我需要补一下硬件知识了

img

各种报错

img

这已经远超我的能力范围了

我已经把网上现有的解决方案

看到很多教程都是专门对于comfiui做适配

我后面学习这个的时候再安装吧

!!!!!

我去我终于弄好了!!!

啊啊啊

img

感动流涕啊啊啊啊啊

方法是将原有的文件onnxruntime删除,下载一个大佬的py文件

自动下载对应插件

img

大佬指路

好继续学习

一般我们设置缩放比例为1

img

吐出需要抠出的人像之后点击回送蒙版可以生成黑白图片

img

img

然后打开图生图

选择蒙版重绘

选择重绘非蒙版区域

填充

调满重绘幅度

img

为了让人物和背景衔接流畅需要使用controlnet的局部重绘

img

成图

img

如果有需要特定的背景,并有相应的图像可以再开一个controlnet的lineart

img

成图

img

后面回顾发现这里的模型选择成真实系了

如果使用二次元画风应该会更好

四、线稿生图的运用

如图,使用lineart

img

用可莉的反推词作为提示词

img

已经可以生成很不错的效果了

这期教程我真的是花了很大力气

主要是在各种插件debug上

但是也肉眼可见的,学会了耐心,一次次尝试

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错,但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料,给那些想学习 AI绘画 的小伙伴们一点帮助!

对于0基础小白入门:

如果你是零基础小白,想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短,学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括:stable diffusion安装包、stable diffusion0基础入门全套PDF,视频学习教程。带你从零基础系统性的学好AI绘画!

零基础AI绘画学习资源介绍
👉stable diffusion新手0基础入门PDF👈

(全套教程文末领取哈)
在这里插入图片描述

👉AI绘画必备工具👈

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉AI绘画基础+速成+进阶使用教程👈

观看零基础学习视频,看视频学习是最快捷也是最有效果的方式,跟着视频中老师的思路,从基础到深入,还是很容易入门的。

在这里插入图片描述

温馨提示:篇幅有限,已打包文件夹,获取方式在:文末

👉12000+AI关键词大合集👈

在这里插入图片描述

这份完整版的AI绘画全套学习资料已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费

请添加图片描述

您可能感兴趣的与本文相关的镜像

ComfyUI

ComfyUI

AI应用
ComfyUI

ComfyUI是一款易于上手的工作流设计工具,具有以下特点:基于工作流节点设计,可视化工作流搭建,快速切换工作流,对显存占用小,速度快,支持多种插件,如ADetailer、Controlnet和AnimateDIFF等

<think>好的,用户需要安装ControlNet IP-Adapter,但提供的参考信息是关于PCB质量控制的,看起来不相关。首先,我需要确认ControlNet IP-Adapter的常见安装步骤,可能涉及Git克隆仓库、安装依赖库等。用户可能使用Stable Diffusion WebUI,所以需要指导他们在扩展中安装。同时,用户可能遇到依赖项冲突或版本不兼容的问题,需要提醒他们注意Python版本和PyTorch版本。另外,参考信息中的项目可能是个干扰项,需要忽略。最后,生成相关问题时要覆盖安装验证、使用场景、故障排除和优化技巧,确保用户后续问题得到覆盖。</think>### ControlNet IP-Adapter 安装步骤 #### 1. 环境准备 - **Python版本**: 确保Python版本为3.8-3.10,推荐使用虚拟环境(如`conda`或`venv`)。 - **PyTorch安装**: 需提前安装与CUDA版本匹配的PyTorch。例如: ```bash pip install torch==2.0.1+cu118 torchvision==0.15.2+cu118 --extra-index-url https://download.pytorch.org/whl/cu118 ``` #### 2. Stable Diffusion WebUI 集成安装 若已安装Stable Diffusion WebUI,可通过以下步骤添加ControlNet IP-Adapter: 1. 进入WebUI扩展目录: ```bash cd stable-diffusion-webui/extensions ``` 2. 克隆ControlNet仓库: ```bash git clone https://github.com/Mikubill/sd-webui-controlnet.git ``` 3. 重启WebUI后,在"Extensions > Install from URL"中输入IP-Adapter仓库地址完成安装[^1]。 #### 3. 独立安装(非WebUI环境) 1. 克隆IP-Adapter官方仓库: ```bash git clone https://github.com/tencent-ailab/IP-Adapter.git cd IP-Adapter ``` 2. 安装依赖项: ```bash pip install -r requirements.txt ``` 3. 下载预训练模型(需HuggingFace账号授权): ```bash wget https://huggingface.co/h94/IP-Adapter/resolve/main/models/ip-adapter_sd15.bin ``` #### 4. 验证安装 运行示例代码测试功能: ```python from IPAdapter import IPAdapter adapter = IPAdapter("runwayml/stable-diffusion-v1-5") print(adapter.generate("A cat sitting on a bench")) ```
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值