53、深度学习中的语言模型与生成模型创新

深度学习中的语言模型与生成模型创新

1. 多头注意力机制解析

多头注意力层由一系列缩放点积注意力层组成，在每个缩放点积注意力层之前，会对值（values）、键（keys）和查询（queries）进行线性变换（即使用无激活函数的时间分布全连接层）。所有输出简单拼接后，再经过一个最终的线性变换（同样是时间分布的）。

以单词 “played” 为例，编码器能将其编码为动词，同时其词表示还包含了它在文本中的位置信息以及过去时态等对翻译有用的特征。如果仅使用单个缩放点积注意力层，就只能一次性查询所有这些特征。而多头注意力层对值、键和查询应用多个不同的线性变换，使模型能将词表示投影到不同子空间，每个子空间关注词的一部分特征。例如，一个线性层可能将词表示投影到只保留“动词”信息的子空间，另一个线性层提取“过去时态”信息等。最后，缩放点积注意力层执行查找阶段，将所有结果拼接并投影回原始空间。

目前，TensorFlow 2 中没有 Transformer 类或 MultiHeadAttention 类，但可以查看 TensorFlow 关于构建用于语言理解的 Transformer 模型的优秀教程。TF Hub 团队也正在将几个基于 Transformer 的模块移植到 TensorFlow 2 中，不久后应该就会可用。

2. 语言模型的近期创新

2018 年被称为“自然语言处理的 ImageNet 时刻”，基于 LSTM 和 Transformer 的更大架构在巨大数据集上训练，取得了惊人进展。以下是 2018 年发表的重要论文及其成果：
| 模型 | 论文作者 | 主要成果 |
| ---- | ---- | ---- |