Datawhale X 魔搭 AI夏令营 AIGC文生图方向Task3笔记

Datawhale 2024年AI夏令营的第四期学习活动聚焦于“AIGC”（人工智能生成内容）的前沿领域，第三阶段特别安排了“进阶上分-实战优化”这一课程。课程紧密依托于魔搭社区举办的“可图Kolors-LoRA风格故事挑战赛”(https://tianchi.aliyun.com/competition/entrance/532254)

本篇笔记为第三阶段的笔记

本阶段的学习分为了解ComfyUI的概念及其应用场景、学习LoRA微调、准备数据集。

一、了解ComfyUI的概念及其应用场景

1.1 ComfyUI的概念

ComfyUI是基于稳定扩散算法的节点工作流WebUI。它通过将复杂的稳定扩散过程巧妙地分解为若干个节点，实现了对工作流程的精确控制和高度定制。这种创新不仅使图像生成速度更快，而且大幅降低了显存占用，比起传统的WebUI方案，ComfyUI提供了更高效、经济的解决方案。

图1  界面截图

1.2 ComfyUI的第三方插件

1、Comfyui_Controlnet_Aux（ControlNet辅助预处理器插件）

用于制作ControlNet的提示图像，提供了丰富的预处理节点，包括Canny、Depth、Scribble、Tile、Lineart、Inpaint等等。

2、ComfyUI-Advanced-ControlNet （高级ControlNet节点）

用于跨时间步长和批量潜伏调度 ControlNet 强度，以及应用自定义权重和注意力掩模的节点。这里的 ControlNet 节点完全支持滑动上下文采样，就像ComfyUI-AnimateDiff-Evolved节点中使用的那样 。目前支持 ControlNets、T2IAdapters、ControlLoRAs、ControlLLLite、SparseCtrls 和 SVD-ControlNets。

3、ComfyUI-AnimateDiff-Evolved（Animate动画插件）

AnimateDiff插件是一个用于生成和操作图像的强大工具，它属于Stable Diffusion模型的一个扩展。ComfyUI-AnimateDiff-Evolved改进了ComfyUI 的AnimateDiff集成，以及可在 AnimateDiff 之外使用的被称为“进化采样”的高级采样选项。

4、UltimateSDUpscale （图片终极放大器）

可以无损放大图片的插件，同时配合不同的放大模型还能增强图片细节。

5、ComfyUI-Manager （拓展管理）

ComfyUI-Manager是一个旨在增强ComfyUI可用性的扩展。它提供了安装、删除、禁用和启用ComfyUI 各种自定义节点的管理功能。此外，此扩展提供了集线器功能和便利功能，可以访问 ComfyUI 中的各种信息。

1.3 速通安装ComfyUI

根据学习指示文件的说明进行操作，成功跑通ComfyUI。

 图2  界面截图

二、学习LoRA微调 

LoRA(Low-Rank adaptation, LoRA)是目前广泛用于训练大型语言模型的一种技术。LoRA提供了一种训练方法，通过减少训练的参数数量，这种方法更快、更容易进行。LoRA引入了两个矩阵A和B，如果参数W的原始矩阵的大小为d × d，则矩阵A和B的大小分别为d × r和r × d，其中r要小得多(通常小于100)。参数r称为秩。如果使用秩为r=16的LoRA，则这些矩阵的形状为16 x d，这样就大大减少了需要训练的参数数量。LoRA的最大的优点是，与微调相比，训练的参数更少，但是却能获得与微调基本相当的性能。

在完成这一部分内容的学习之后，本期夏令营的主要学习内容就大致完成了。之后的学习我还会继续去探索，感谢Datawhale提供的学习支持与资源。

以上为本次Task3学习内容的笔记。