菜鸟的博客

训练的模型会保存在 models/reactor/face/下面，使用时直接load就好。1.图像处理小工具，沿某个轴反转Image Flip。3. 通过某人的多张照片进行训练。2. reactor换脸。

其中 KSample里的最后一个latent 表示光线的位置方向可以是一张黑白图片，白色是强光线，黑色是弱光线。ICLight的使用。

在ipadaper 的 att_mask 选项，作者的意思是将参考图绘制在目标图像的位置是哪里 我的理解是要提取参考图的哪个位置的图像，这里需要进行详细论证。当本来画布上应该有一个人的时候，出现了两个人，有可能是给了画布足有的空间，画布不知道画什么，此时可以考虑引入controlnet tile。当使用controlnet控制 过重 或者过轻的时候，记得调整apply controlnet的介入时机，可能会有更好的效果。参考图是猫，生成的包含猫细节，需要通过neg删除无效细节。

在潜空间放大，三种方法：NNLatentUpscale、Upscale Latent、Upscale Latent，其中只有NNLatentUpscale自带模型优化，其他两种需要KSample重新绘画，NNLatentUpscale后也可以接KSmaple。可以考虑使用tile controlnet，初始化一个高像素的latent，不需要接入放大模块 也可以有很好的细节。2）使用提示词分割，contact连接，后面加入settimestap 调节。对局部进行修改， 实际测试效果不错。

解决办法：可以考虑把一个KSample拆成两个，第一个ipadater 高参数，第二个文本高参数，但第一个KSample只有6 step，第一个要输出噪声；场景使用IPAdapter 定义图像风格，使用提示词调整风格，但二者不能很好的共存，ipadapter条数调大了 就会倾向参考图，但不理会文本，同理反之；所有text 在一个embedding里，会导致图片bleeding 溢出，可以把颜色特征单独抽取出来，作为一个新的embedding，效果好很多。

下图图像转prompt比较好理解，不解释了。

主要原理：提取图像特征，并嵌入预训练文本，最终加入到扩散图像中。简单理解，提取图像的特征：构图特征、面部特征，根据权重参数与原prompt进行融合，共同作用到扩散图像上。相关文档：https://baijiahao.baidu.com/s?参考：https://baijiahao.baidu.com/s?简单案例：https://blog.youkuaiyun.com/qq_41314882/article/details/140517620。从条件图中提取特征，包括前景、背景结构，任务特征等。

注意：初始噪声不能太大，denoise过大 画面将会改变。对低像素图像进行放大。

低分辨率生成 768 * 768高清放大，也是需要放到KSampler进行细节修复

2.lineart固定轮廓 + ipadapter 提供风格。

最后生成出来 真实丑哭了，完全不像。3. 可以配置ADetailer。2. 配置ipadapter。

图生图 局部绘制， 选中衣服controlnet TILE 更偏向提示词

3.此时如果直接生成，则背景是随机的。需要controlnet提供ipadapter,同时给个局部重绘，增加两张图的融合。把关键词发送至图生图，并上传杯子图以及蒙版。背景通过tag 反推关键词。