17、计算机视觉与自然语言处理前沿应用

计算机视觉与自然语言处理前沿应用

计算机视觉中的DDPM图像生成

在模型训练完成后，我们可以基于随机初始张量 $x_T$ 来采样新的图像，具体步骤如下：
1. 从高斯分布中采样初始随机潜在张量 $x_T$。
2. 重复以下步骤 $T$ 次：
- 除最后一步外，从高斯分布中采样随机噪声张量 $z$。
- 使用训练好的 U - Net 模型预测步骤 $t$ 中的噪声 $\epsilon_{\theta}$，从当前样本 $x_t$ 中减去该噪声，生成新的、噪声更少的 $x_{t - 1}$。调度系数 $a_t$ 也参与此公式，该公式还保留了原始分布的均值和方差。
3. 最后一步去噪生成最终的图像。

自然语言处理与循环神经网络概述

自然语言处理（NLP）和循环神经网络（RNN）是两个相互补充的领域。NLP 旨在让计算机处理和分析自然语言文本，执行诸如机器翻译、情感分析和文本生成等任务。与计算机视觉中的图像数据不同，自然文本是一种元素顺序很重要的数据类型。而 RNN 适合处理文本或时间序列等顺序数据，它通过定义序列上的递归关系来处理可变长度的序列，因此 NLP 和 RNN 是天然的盟友。

不过，RNN 虽然在理论上具有很好的性质，但在实际应用中存在一些限制。这些限制在很大程度上被更新的神经网络架构——Transformer 所克服。尽管如此，了解 RNN 仍然很有意义，一方面它具有优雅的架构，是主要的神经网络类别之一；另一方面，对这些知识的学习过程与实际研究的进展相匹配，有助于我们更好地理解后续模型的优势。

自然语言处理任务类型

NLP 是机器学习的一个子领域，它允许计算机