图生图流程解析

一、介绍

本篇来介绍下图生图的流程,图生图只是在文生图基础上做了一点点的改动,再结合原理查看,你会发现和文生图类似。

二、流程步骤

回顾一下上一篇的文生图的完整流程

采样器通过模型形成一个Latent space

我们输入的参数有text prompt,通过clip编码器,是由模型提供的,变成token输入给采样器

然后用一个空的Latent图片,直接给采样器,作为基础的采样

采样器经过多次的工作,也就是对应步数那个属性,这里设置的是20步,也就是执行了20次

然后生成了Latent的结果,Latent结果经过解码,就变成了我们需要的图片了

图生图的话很简单,只要把空Latent变成我们具体要参考的图片即可,把图片当作第一次的采样参考。

这里我们修改下文生图的流程

在空白地方按下面顺序生成一下加载图像这个节点

具体图片的话,看原理流程图里面是需要先经过VAE编码后才可以接入到采样器的,所以这里把加载器的图像节点拉出来,连接一个VAE编码节点,这时候才可以去连接采样器的输入端的Latent,其实大家后面连接节点的时候可以注意节点的颜色,相同颜色的节点才可以连接。最后也要记得把VAE节点和大模型的去链接上才行。不管是CL

评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值