Improved Techniques for Training Consistency Models

最新推荐文章于 2025-09-01 17:47:49 发布

UnknownBody

最新推荐文章于 2025-09-01 17:47:49 发布

阅读量396

点赞数

CC 4.0 BY-SA版权

文章标签：语言模型

本文链接：https://blog.youkuaiyun.com/c_cpp_csharp/article/details/134133279

LLM 日更专栏收录该内容

828 篇文章

已下架不支持订阅

本文介绍了改进的一致性模型训练技术，避免了依赖预训练扩散模型的蒸馏过程，使用伪Huber损失替代LPIPS，并引入对数正态噪声调度。这些改进使得一致性模型在CIFAR-10和ImageNet 64上取得2.51和3.25的FID分数，超越了先前方法。

本文是LLM系列文章，针对《Improved Techniques for Training Consistency Models》的翻译。

摘要

一致性模型是一个新生的生成模型家族，它可以在不需要对抗性训练的情况下一步采样高质量的数据。当前的一致性模型通过从预先训练的扩散模型中提取并使用学习的度量（如LPIPS）来实现最佳样本质量。然而，蒸馏将一致性模型的质量限制为预先训练的扩散模型的质量，并且LPIPS在评估中导致不希望的偏差。为了应对这些挑战，我们提出了改进的一致性训练技术，即一致性模型直接从数据中学习，而不进行蒸馏。我们深入研究了一致性训练背后的理论，并发现了一个以前被忽视的缺陷，我们通过从教师一致性模型中消除指数移动平均来解决这个缺陷。为了取代像LPIPS这样的学习指标，我们采用了来自稳健统计的伪Huber损失。此外，我们为一致性训练目标引入了一个对数正态噪声调度，并提出在每一组训练迭代次数下将总离散化步骤增加一倍。结合更好的超参数调整，这些修改使一致性模型能够在单个采样步骤中在CIFAR-10和ImageNet 64上分别获得2.51和3.25的FID分数。与之前的一致性训练方法相比，这些分数分别提高了3.5和4。通过两步采样，我们在这两个数据集上进一步将FID得分降至2.24和2.77，超过了在一步和两步设置中通过蒸馏获得的分数，同时缩小了一致性模型与其他最先进的生成模型之间的差距。