6、深度学习中的预训练网络与张量基础

深度学习中的预训练网络与张量基础

1. 预训练网络的多样性与应用

在深度学习领域，已经开发出了许多有趣的生成器，它们采用了对抗训练或其他方法。其中一些能够创建逼真的虚构人物面部，另一些则可以将草图转换为逼真的虚构风景图片。生成模型还被用于生成逼真的音频、可信的文本和悦耳的音乐，很可能会成为未来支持创意过程的工具基础。

然而，这类工作的影响不容小觑。像我们下载的工具质量会越来越高，使用也会越来越广泛。例如，换脸技术就受到了大量媒体的关注，搜索“深度伪造”会出现大量相关示例内容（不过要注意其中有不少不适合公开的内容，上网时需谨慎点击）。

我们已经体验过能识别图像和生成新图像的模型，接下来要了解涉及自然语言的模型。

2. 描述场景的预训练网络

为了亲身体验涉及自然语言的模型，我们将使用由Ruotian Luo提供的预训练图像字幕生成模型，它是Andrej Karpathy的NeuralTalk2模型的实现。当输入一张自然图像时，该模型会生成描述场景的英文字幕。

这个字幕生成模型由两部分组成：
- 第一部分是一个网络，它学习生成场景的“描述性”数值表示，比如“虎斑猫”“激光鼠标”“爪子”等。
- 第二部分是循环神经网络，它将这些数值描述组合成连贯的句子。这两部分在图像 - 字幕对上一起训练。

第二部分被称为循环神经网络，是因为它在后续的前向传播中生成输出（单个单词），每次前向传播的输入都包含上一次前向传播的输出，这就产生了下一个单词对前面生成单词的依赖，符合处理句子或序列的预期。

2.1 NeuralTalk2模型

NeuralTalk2模型