Datawhale X 魔搭 AI夏令营-AIGC Task 03 --笔记

前言
Task 03 的笔记包含三个部分内容，用于优化调整的工作流交互工具ComfyUI、Lora微调模型以及本人最后的生图分享。学习，未完待续…

一、ComfyUI

1.1 关于ComfyUI

概念

ComfyUI是GUI（Graphical User Interface，图形用户界面）的一种。GUI定义是采用图形方式显示的计算机操作用户界面。个人理解就是，一种提供给用户用于跟计算机交互的界面。相比于一行行的代码，交互界面的形式对于用户而言更加友好。

理解

ComfyUI把生图这个任务，拆分节点，通过模块化设计，把整个过程制作成一个由多个节点组成的工作流（就像完成任务“炒菜”，需要进行买菜、洗菜、切菜、备料等节点）。也像是把这个AI的“黑盒”过程，稍微的“拆盒”，让用户更加容易理解。

内容

结合具体的ComfyUI默认的default界面进行解释。
四个模块：模型加载器、提示词管理器、采样器和解码器。四个模块之间都有不同颜色的线相连，且每个连接点上都有标注其意义。

• 模块加载器Loadcheckpoint，字面意思。（AI模型在完成训练优化测试后，如何保存数据模型参数等使得下次运行能够得到一样的结果？ 设定checkpoint也就是Task 01中保存的ckpt文件，将模型的结构参数等一系列的数据都保存起来，下次使用直接导入节省训练寻优等过程）
• 提示词管理器CLIP，也就是管理提示词prompt的，包括positive（正向）和negative（反向）两个。图中可见，上面那个是positive的，下面是negative。如何区分？ 看采样器，两个prompt框各自跟Sampler采样器有连线，在Sampler的连接点上有标注。
• 采样器Sampler，执行降噪操作，控制模型生成图片，采样器上有一系列的参数可以对生成的图片进行控制，包括随机数种子seed，次数steps等。通过调整这些参数可以影响最终生成图片的quality和divesity。
• 解码器VAE，ComfyUI里的VAE意味解码器（一般ML里VAE代表Variational Autoencoder，变分自编码器，主要由编码器encoder和解码器decoder构成），在这主要是把之前embedding的向量解析成图像。

顺带整理整个过程，个人理解，仅供参考。

优势

这么做的优势很明显

• 可视化和用户友好。提供可视化的界面，方便用户更好理解和使用。
• 模块灵活。ComfyUI模块化的设计，详略得当，从整个生图任务中提取出主要的节点进行模块化封装，在使用的过程中可以灵活的