张小殊的博客

近年来，计算机科学领域的生成式扩散模型迅猛发展，成为人工智能领域的热门研究方向。这一类模型，如GPT系列，以其强大的语言理解和生成能力，成功地应用于自然语言处理、文本生成、机器翻译等多个领域。扩散模型通常使用一个基于卷积的U-Net网络用于学习噪声并对噪声进行预测，近一年来，越来愈多的研究开始探索基于Transformer的噪声预测网络，本文主要介绍了近年来的一些经典工作。

近年来，计算机科学领域的生成式扩散模型迅猛发展，成为人工智能领域的热门研究方向。这一类模型，如GPT系列，以其强大的语言理解和生成能力，成功地应用于自然语言处理、文本生成、机器翻译等多个领域。然而，随着模型规模的不断扩大和任务复杂性的提高，扩散模型在实时推理上面临着巨大的计算量挑战。本文主要介绍了应对这一挑战近年来的一些经典工作。

近年来，扩散模型近年来取得了迅速的发展。扩散模型被广泛应用于文本到图像生成、文本到视频生成、点云完成和生成等各种生成式任务上。然而，从头训练一个扩散模型往往涉及巨大的计算成本和时间投入，限制了其在实际应用中的广泛使用。为了克服这一挑战，研究者们开始关注如何在现有的通用扩散模型基础上，通过微调的方式，将模型专门适应特定的下游任务。微调的思想源于对预训练模型知识的有效重用，通过在具体任务上进行有针对性的调整，以适应不同的应用场景。