论文阅读笔记——PixArt-α，PixArt-δ

PixArt-α

PixArt-α 论文
仅使用 28400 美元，28M 训练数据，训练时长为 SD 1.5 的 10.8%，只有 0.6B 参数量，达到接近商业应用的水准。
现有数据集存在的缺陷：图文匹配偏差、描述信息不完整、词汇多样性不足（长尾效应显著）、低质量数据。
为了实现低成本训练，华为采用了三阶段的训练策略：第一个阶段是学习像素依赖关系，简单来说是先学习生成真实的图像，这里是用ImageNet数据集训练一个基于类别的条件扩散模型；然后是学习文本和图像的对齐，即学习文本作为条件下的图像生成，这里的一个关键是采用 LVLM (Large Vision-Language Model) 来给图像生成更详细的文本描述；最后一个阶段是高质量微调，即采用高分辨率和高美学图像对模型进行微调。

由于 Transformer 块中有 3 个 MLP，6 个参数，占总参数量的 27%，由于是训练一个文本引导的图像扩散模型，不需要类别标签，那么所有的 MLP 本质上在学习相似的时序模式。故改用单个 MLP 生成基准参数 $S=f(t)$