【comfyUI进阶】“垫图神器”IpAdapter更多技巧，你都知道吗？（中、进阶使用和技巧）

本文链接：https://blog.youkuaiyun.com/WANGJUNAIJIAO/article/details/148107853

“道阻且长，行则将至”

如何解决IP-Adapter生成图片发黑发暗

如何使用非正方形的提示图

来个总结：

图片即是lora?

注意点：

最后介绍两个特殊的使用场景

1.使用遮罩对IP-Adapter的作用范围进行精确控制

2.使用IP-Adapter可以用于放大图片或者模糊图片高清化

下一篇我将讲解IpAdapter的更多进阶应用：

本文就来给大家讲解他的更多注意点和进阶技巧。

如何解决IP-Adapter生成图片发黑发暗

如下图，根据提示图生成的图片就像被火烤过或者像被笔临摹了几百次，已经糊成一团。整个图片发黑发暗。

由于IP-Adapter是一种小型超网络模型，它根据输入图像和中间输出生成嵌入(embeddings)，并将这些嵌入作为指令动态地影响大型扩散模型的生成过程。这就导致了过高的CFG，也就是提示关联会导致图像渲染过度，FaceID也有同样的问题。这时我们可以简单的选择降低CFG，正常降低到4/5即可大大改善状况。但是这么做同时会导致其他提示词也会一起弱化，并且所有用到IP-Adapter模型的地方都要调整。

如图，笑容变得很弱：

所以更好的方案是使用如下节点：

节点很简单，进model出model，将他放到IP-Adapter流程的末尾即可。可以理解为这是一个“退火”节点，可以将模型过高的“温度”降下来，正常设置为0.7就会有效果。同时也不会影响其他如提示词或者controlnet的提示由于调低CFG受到影响。

效果如图，笑容明显灿烂了一些

如何使用非正方形的提示图

在上一篇基础使用中我们介绍了IP-Adapter在识别提示图片时是一个244*244的正方形区域。在遇到非正方形图片时可以通过预处理器处理图片（详见上篇文章）。

但是，如果我就是这么一身“反骨铮铮”，我就想要长条的图片做提示图片，或者我就想生成长条形的图片怎么办呢？

比如下图这个比例为1：2的图片，如果我们使用普通的应用处理器处理，不但图片被截掉，而且还被拉伸了：

这时我们可以使用新的处理器：

从名字大概就可以窥得这个节点的原理，如果图片不是正方形，那么把划分成一块块的正方形再解析。

可以看到这个节点比正常的节点多了两个参数一个是短边的正方体划分数量short_side_tiles，一个是每个正方体部分的识别权重**tile_weight**。

看看这个图是不是好理解了呢

**tile_weight大家可以根据图片情况适当修改，大多时候0.6是个比较合适的值，如果使用的模型是SDXL那么可以适当将tile_weight调低到0.5。重点在于short_side_tiles**的使用

还是这个美女，让我们使用新节点试试效果：

可以看到整个图片的特征都被捕捉到了

如果我们调大重点在于short_side_tiles的值，其他不变的情况下，让我们看看图片会有怎样的变化：

可以看到，随着size的增长，图片的特征细节捕捉的更到位，和原图的差别越来越小。回想一下上文的方格图，当特征图像被划分的越细，特征自然捕捉的更具体，同样的执行时间也会更长。

来个总结：

当特征图片或者想要生成的图片是非正方形时，使用此节点可以完整捕捉特征。
当short_side_tiles越大，特征捕捉越详细，生成的图片越相似度越好，但是时间也会翻倍延长。这意味着即使原图是正方形，也可以使用此节点提高IP-Adapter的识别精度！
图片即是lora?

在我们使用IP-Adapter时候，使用方式看起来很像是lora,因为他们都是基于模型去修正迁移图片的风格特征。

实际上插件作者也为我们提供了类似的固定图片特征模型的方法，生成的是embeds模型，如下图所示

三张图片的风格固化下来的模型直接导入就可以批量生产相同风格的图片了：

有人可能觉得直接保留着三张图片每次去生成不是更直观吗？直接保留确实可以，但是这也意味着每次加载你都要去重新识别加载所有的图片，占用资源且消耗时间。尤其使用上一节的节点在**short_side_tiles**很大时，消耗的时间更是成倍增加。

注意点：

虽然看起来很像，某些时候也能起到轻量的lora模型的作用。但是在使用IP-Adapter时，并不是给的图片越多越好，而是给的图片越精准越好。lora可能需要一定量的同类型的图片，训练后风格才越精准。但是对于IP-Adapter 你可以认为一张图片就是一段提示词，同类型的图片一张足够，更多图片并不会带来显著效果提升！
生成的embeds模型在output文件夹下，把他放到input文件夹下就可以在加载器中找到他啦。
最后介绍两个特殊的使用场景

1.使用遮罩对IP-Adapter的作用范围进行精确控制

在应用IP-Adapter节点时，我们可以看到还有一个节点输入，那就是遮罩输入，利用这个节点我们可以精准控制多个特征在生成图片里的作用范围

如下图所示

这个工作流在一个宽图的左右半边各引入了一张提示图，可以看到整张图的效果非常自然。

注意：

遮罩最好和图片大小等大
最好在遮罩与非遮罩区域加入过渡层

2.使用IP-Adapter可以用于放大图片或者模糊图片高清化

通常我们想要修复模糊的图片使用单纯的图生图效果不会很理想，在基础的图生图上增加IP-Adapter

可以对图片的修复起到较好的修复效果。

下面是对比效果：

关于AI绘画技术储备

学好 AI绘画不论是就业还是做副业赚钱都不错，但要学会 AI绘画还是要有一个学习规划。最后大家分享一份全套的 AI绘画学习资料，给那些想学习 AI绘画的小伙伴们一点帮助！

为了帮助大家更好地掌握 ComfyUI，我在去年花了几个月的时间，撰写并录制了一套ComfyUI的基础教程，共六篇。这套教程详细介绍了选择ComfyUI的理由、其优缺点、下载安装方法、模型与插件的安装、工作流节点和底层逻辑详解、遮罩修改重绘/Inpenting模块以及SDXL工作流手把手搭建。

需要的可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】