【人工智能基础2】【4】生成模型基础扫盲

1、主流的图像生成模型有哪些？

主流的图像生成模型包括以下几种：

1. 生成对抗网络（GAN, Generative Adversarial Networks）： GAN 是一种通过训练两个对抗的神经网络（生成器和判别器）来生成新图像的模型。生成器尝试生成逼真的图像，而判别器则尝试判断图像是否为真实的。GAN 的一些著名变种包括 DCGAN、CycleGAN 和 StyleGAN。

2. 扩散模型（Diffusion Models）： 扩散模型通过反向过程逐步去噪，将随机噪声转化为目标图像。近年来，扩散模型在图像生成领域取得了显著的成功，如 DALL·E 2、Stable Diffusion 和 Imagen 等。

3. Transformer 模型： Transformer 是一种基于自注意力机制的模型，广泛应用于自然语言处理，但近年来也被成功地应用于图像生成任务。Vision Transformer（ViT）是将 Transformer 应用于图像的一个例子。图像生成模型如 DALL·E 就是基于 Transformer 架构的。

4. 变分自编码器（VAE, Variational Autoencoders）： VAE 是一种生成模型，旨在通过变分推断学习潜在空间，并能够生成新图像。VAE 通过编码器和解码器的结构来映射和生成图像，通常用于生成逼真的样本。

这些模型各有特点，选择合适的模型取决于具体任务的需求，比如生成图像的质量、训练稳定性、推理速度等。

 

2、视频生成模型 Sora 的基本原理

1. 扩散模型：Sora 使用一种叫做扩散模型的方法，开始时生成一个全是噪声的图像，然后逐步去除噪声，直到生成清晰的视频。这类似于从混乱的画面中一点点提炼出一个完整的图像。
2. Transformer 架构：Sora 使用 Transformer 模型来处理视频中的时间和空间信息。这个模型可以理解视频中每一帧之间的关系，确保视频看起来不仅清晰，