生成扩散模型在网络优化方面的应用

生成扩散模型(Generative Diffusion Models, GDMs)具有建模复杂数据分布和生成高质量样本的能力，基于此，GDMs常常被用来执行例如图片生成等任务，随着6G的不断建设与探索，网络规模逐步扩大，网络状态愈加复杂，学习复杂网络中潜在的信息和依赖关系是十分重要的。

Background

生成式人工智能(Generative Artificial Intelligence, GAI)的几种经典模型：

1. Transformers
   Transformers经常用于自然语言生成与处理，如ChatGPT
2. Generative Adversarial Networks (GANs)
   生成对抗模型被用于图片合成领域，其模型架构包括一个生成模型和一个判别模型，生成模型尽可能生成“以假乱真”的数据，判别模型则尽可能分辨数据的真伪，从而使得合成的数据有效。
3. Variational Autoencoders (VAEs)
   变分自编码器将输入数据转化为隐空间的一系列参数，并使用这些参数生成符合原始分布的新数据。
4. Generative Diffusion Models (GDMs)
   生成扩散模型使用前向扩散过程对数据逐步添加噪声，再通过反向扩散对含有噪声的数据进行去噪。其被广泛应用于不同的领域。如，Stable Diffusion, 是一个基于扩散模型的图片生成应用；DDPM(Denoising Diffusion Probabilistic Models)、DDIM(Denoising Diffusion Implicit Models) 被用来执行文本生成任务，从噪声中生成高质量图片等；同样GDMs还能用于音频数据生成、图生成等方面。

GDMs的优点如下：

• 高质量数据生成能力
  GDM的前向扩散和反向扩散过程使得它能够捕捉到复杂的数据分布，从而生成高质量的数据。
• 灵活性
  由于GDM依赖随机微分方程，它能够适应各种各样的数据与应用。
• 实现简单
  前向和反向两个过程，用DNN辅助拟合反向过程。

Motivations

GDMs已经成功应用于智能网络优化的多个领域，然而，随着未来智能网络如通信感知一体化( Integrated Sensing and Communications ,ISAC)、语义通信（Semantic Communications , SemCom) 、车联网( Internet of Vehicles , IoV) 等的兴起，其高维的配置、非线性的关系和复杂的决策过程为网络的优化提出了新的挑战。例如，SemCom网络需要对语义信息有深度的理解，以提取出关键信息进行传输；IoV网络则聚焦大量高可移动实体的异步通信交互。在这些场景中，智能网络需要探索复杂环境的动态变化，发掘环境状态和优化决策之间的依赖关系，那么就需要网络能够利用和处理高维和多模态分布的数据，对整个系统进行性能的优化提升。
GDMs建模复杂数据的能力可以有效解决此类优化问题。

Network Optimization via Generative Diffusion Models

Applications of GDMs

• 计算机视觉

1. DDPM & DDIM：从噪声中生成高质量图片。
2. 反射扩散模型(reflected diffusion model)：将约束因素整合到生成过程中，从而获得更加可靠的样本。
3. 隐流式扩散模型(latent flow diffusion model)：弥合了图像和视频生成之间的差距，在隐空间中合成光流序列，生成具有真实空间和时间细节的视频。

• 文本

1. Diffusion-LM：将扩散模型聚合到语言模型中，能够增强生成文本的可控性和连贯性。
2. DiffuSeq / DiffuSum：将GDMs应用到多样化文本序列生成中。

• 音频