[Stable Diffusion]ip-adapter：SD也可以垫图了，一张图复刻lora效果

Controlnet更新的v1.1.4版本新预处理ip-adapter，这项新能力简直让stablediffusion的实用性再上一个台阶。这些更新将彻底改变sd的使用流程。

1.ip-adapter是什么？

ip-adapter是腾讯Ai工作室发布的一个controlnet模型，可以通过stable diffusion的webui使用，这个新的功能简单来说，**他可以识别参考图的艺术风格和内容，然后生成相似的作品，并且还可以搭配其他控制器使用。**可以说SD已经学会临摹大师的绘画并且运用到自己的作品上了。

论****文资料：

https://ip-adapter.github.io/

IP-adapter的github地址:

https://github.com/tencent-ailab/IP-Adapter

2.ip-adapter生成效果怎么样：

官方对ip-adapter进行了测试，如下图，第一列是输入的图片参考，第二列是输入的其他控制参数。

最后一列是使用ip-adapter生成的效果，看第一行摩托车的测试能明显看出，ip-adapter的方法不仅在图像质量方面优于其他方法，而且生成的图像与参考图像更好地对齐。

官方给出的结论就是：ip-adapter非常好用。

但是根据我的测试，ip-adapter使用SD1.5的模型效果明显优于SDXL模型的效果，不知道是不是由于官方训练时使用的基本都是SD1.5模型的原因。

3.ip-adapter如何使用？

废话不多说我们直接看如何使用，和我测试的效果如何！

案例1 人物风格控制：

首先，**我们打开webui界面，在controlnet选择ip-adapter，**选择一张参考图，我专门选了一张风格比较明显的女生。controlnet的其他参数可以不做调整。

然后，我们选择一个和参考图片风格类似的大模型，调整预处理器和图片尺寸，最后点击生成按钮。

**可以看到我这里并没有填写任何提示词，**是为了测试仅由controlnet的ip-adapter能输出怎样的效果图。大家使用的时候可以正常填写起手式提示词。

可以看到生成的人物不仅头发颜色，动作姿势类似，而且服装也有比较好的还原。

接着，我们再添加一张新图片到ControlNet中，选择Canny作为控制方式，推荐把控制参数调低一些，大约0.7左右，最后点击生成按钮。

生成的人物图片姿势符合参考图片，而且画风还能保持统一。

然后，我们再换一张图片，选择SoftEdge模式进行生成，结果同样令人满意。

案例2 室内效果风格控制：

接下来，**我们演示一下如何制作室内效果图。**首先，我们选择一张室内效果图并将其放入ControlNet中。接着选择IP-Adapter进行适配，

然后调整图片参数和更换大模型，我这里用的是R****ealisticVisionV51，最后直接点击生成按钮，可以看到生成的效果图风格非常接近原图。当然这个拿来直接使用还有一定的差距，还需要一些处理。

所以我再添加一个图作为构图参考，选择depth，深度图模型，点击生成。风格也是完美的迁移到了我们想要的构图上， 虽然现在看起来生成的图片有些模糊，是因为我使用的是SD1.5的模型，并且还没有输入任何的提示词。

最后，我们再添加一个常用的质量提示词起手式，然后通过使用Tiled插件，提高生成图片的分辨率，最终达到1080分辨率。

这就是ControlNet插件V1.1.4版本的最新更新，ip-adapter功能。我相信将为AI绘画带来新的可能性，无论你是艺术家、设计师，还是只是对技术感兴趣，这些工具都值得一试。

---

4.如何在stable diffusion-webui上下载使用ip-adapter呢？

环境要求：

1.下载好秋叶的stable diffusion一键整合包，并且将webui的版本更新到v1.6。

如果没有安装过的小伙伴，我把一键整合包资源放在我的公众号：【AI芝士计划】了，只需要发送“秋叶整合包”，将资源自动发送给你。

2.将controlnet更新到v1.1.4及之后的版本。

controlnet模型安装：

准备好环境之后，**需要下载controlnet最新的ip-adapter模型，**放在网盘中了，选择一个网盘全部下载下来，

放到stable-diffusion-webui根目录\extensions\sd-webui-controlnet’models或者stable-diffusion-webuii根目录\models\ControlNet中即可。

这份完整版的学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

5.ip-adapter出现错误，无法生成类似图片如何解决？

按照以下方式逐一检查错误：

1.检查webui版本是否是v1.6及以后的版本。

2.controlnet的ip-adapter模型是否安装并启用。 如果未安装，请使用上方的网盘链接进行下载，并且将controlnet模型放到stable-diffusion-webui\extensions\sd-webui-controlnet\medels或者stable-diffusion-webui\models\ControlNet中。

3.检查webui根目录\extensions\sd-webui-controlnet\annotator\downl oads\clip_vision\ 目录里有没有这两个模型：【clip_g.pth】【clip_h.pth】，如果没有，我将这两个clip模型放在我的公众号中了，发送“clip模型”将自动发送给你哟。

**4.如果以上都不能解决问题，请更新一下pytorch版本。**打开秋叶启动器，在“高级选项”-“环境维护”-选择至少torch2.0.0版本及以后的版本安装更新。

最后，如果这篇文章对你有帮助，请不要忘记点赞和点“在看”~

你的支持对我制作下一期教程非常重要。

关于AI绘画技术储备

学好 AI绘画 不论是就业还是做副业赚钱都不错，但要学会 AI绘画 还是要有一个学习规划。最后大家分享一份全套的 AI绘画 学习资料，给那些想学习 AI绘画 的小伙伴们一点帮助！

对于0基础小白入门：

如果你是零基础小白，想快速入门AI绘画是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以找到适合自己的学习方案

包括：stable diffusion安装包、stable diffusion0基础入门全套PDF，视频学习教程。带你从零基础系统性的学好AI绘画！

需要的可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

1.stable diffusion安装包 （全套教程文末领取哈）

随着技术的迭代，目前 Stable Diffusion 已经能够生成非常艺术化的图片了，完全有赶超人类的架势，已经有不少工作被这类服务替代，比如制作一个 logo 图片，画一张虚拟老婆照片，画质堪比相机。

最新 Stable Diffusion 除了有win多个版本，就算说底端的显卡也能玩了哦！此外还带来了Mac版本，仅支持macOS 12.3或更高版本。

2.stable diffusion视频合集

我们在学习的时候，往往书籍源码难以理解，阅读困难，这时候视频教程教程是就很适合了，生动形象加上案例实战，一步步带你入坑stable diffusion，科学有趣才能更方便的学习下去。

3.stable diffusion模型下载

stable diffusion往往一开始使用时图片等无法达到理想的生成效果，这时则需要通过使用大量训练数据，调整模型的超参数（如学习率、训练轮数、模型大小等），可以使得模型更好地适应数据集，并生成更加真实、准确、高质量的图像。

4.stable diffusion提示词

提示词是构建由文本到图像模型解释和理解的单词的过程。可以把它理解为你告诉 AI 模型要画什么而需要说的语言，整个SD学习过程中都离不开这本提示词手册。

5.AIGC视频教程合集

观看全面零基础学习视频，看视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

实战案例

纸上得来终觉浅，要学会跟着视频一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

这份完整版的学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】