ControlNet 有很多使用方式,比如修复老照片,可以使用 [Recolor]控制类型。Recolor 需要额外下载模型
模型网站下载地址:https://huggingface.co/lllyasviel/sd_control_collection/tree/main模型网站进来以后选择我们需要的模型「ioclab_sd15_recolor.safetensors」,点击下载按钮进行下载。模型下载完成以后,把模型放到 SD 的指定目录文件夹下:\sd-webui-aki-v4.1\models\ControlNet
然后我们上传一张需要上色的黑白老照片,点击启用和完美像素模式,点击控制类型 Recolor,如果模型没有加载进来,记得点下模型旁边的刷新按钮。预处理器有两种,小伙伴们都可以试试。
然后我们选择一个真人大模型,如果只是上色,提示词可以不用写,直接点击生成就可以完成上色了,当然我们也可以在提示词上指定我们想要修复的颜色。以下就是黑白老照片修复的彩色照片了,分别使用了 Recolor 的两种预处理器,小伙伴们可以看下效果。对于退色的老照片而言,又重换新生了有么有?
Recolor 除了可以给黑白照片上色以外,还可以在不改变人物的前提下给人物重新上色。第一张是我们的原图,其他三张是在原图的基础上修改提示词中的颜色而生成的。多变的风格一下就是出来了有么有!
还有 IP-Adapter 控制类型,让 SD 也能拥有垫图功能需要下载 IP-Adapter 的模型,可以去 huggingface下载
模型网站下载地址:https://huggingface.co/lllyasviel/sd_control_collection/tree/main下载好的模型放入以下目录:\sd-webui-aki-v4.1\models\ControlNet
更新成功以后,就可以看到 IP-Adapter 了,我们选择 sd15 的预处理,点击爆炸按钮会自动下载预处理器。
如果下载报错的话,网盘中听雨已经给小伙伴们下好了。
复制到以下目录就可以了。\sd-webui-aki-v4.1\extensions\sd-webui-controlnet\annotator\downloads\clip_vision
接下来我们就开始正式的来看下 IP-Adapter 怎么使用。选中 IP-Adapter 控制器,一般预处理器和模型会默认加载,没加载的话,点一下模型旁边的刷新按钮,再没有的话,就需要看下模型是否放入指定目录下了。点击启用、完美像素模式、允许预览,上传我们希望复制风格的图片,点击爆炸按钮。
选择一个我们想要的大模型,听雨这里主要是演示,就不写提示了,我们直接点击生成,可以看到生成的图像和我们的原图基本是一致的。
这是 IP-Adapter 最基本的用法,它还可以配合其他的控制类型组合使用,比如和 Canny 配合使用。IP-Adapter 保留风格,Canny 保留姿势。组合生成自己想要的图片。再添加一个 ControlNet ,控制器选择 Canny,上传我们想要的人物姿势图,控制权重小于 1,听雨这里设置的是 0.8,然后我们点击生成。
可以看到风格和人物姿势融合到了一张图里了。
IP-Adapter 还可以和 Depth 组合使用。用来尝试不同的装修风格。IP-Adapter 中上传我们想要的风格图片。
Depth 中上传我们房间的布局图片,预处理器和模型使用 Depth 默认的就行,然后记得点爆炸按钮,控制权重设置小于 1。
最后点击生成。图一的风格完美的融入了图二的装修布局上有么有。想换什么风格换什么风格。总能找到一款我们喜欢的。
这份完整版的SD整合包已经上传优快云,朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费
】