A Survey of Diffusion Models in Natural Language Processing

本文是NLP系列文章，针对《A Survey of Diffusion Models in Natural Language Processing》的翻译。

摘要

本文对扩散模型在自然语言处理中的应用进行了全面的综述。扩散模型是一类数学模型，旨在捕捉信息或信号在网络或流形上的扩散。在NLP中，扩散模型已被用于各种应用，如自然语言生成、情感分析、主题建模和机器翻译。本文讨论了NLP中使用的扩散模型的不同公式，它们的优点和局限性，以及它们的应用。我们还对扩散模型和替代生成模型进行了彻底的比较，特别强调了自回归（AR）模型，同时还研究了不同的架构如何将Transformer与扩散模型结合起来。与AR模型相比，扩散模型在并行生成、文本插值、句法结构和语义内容等表征级控制以及鲁棒性方面具有显著优势。探索将Transformer集成到扩散模型中的进一步排列将是一个有价值的追求。此外，开发具有显著少样本学习能力的多模式扩散模型和大规模扩散语言模型将是NLP中扩散模型未来发展的重要方向。

1 引言

2 通用框架

3 NLP中扩散模型的综述

3.1 离散扩散模型

3.2 嵌入扩散模型

3.3 离散与嵌入扩散

4 扩散与其他生成模型

4.1 与潜