59、变压器模型的发展与应用：从自然语言处理到计算机视觉

变压器模型的发展与应用：从自然语言处理到计算机视觉

1. 变压器模型在自然语言处理中的崛起

2018 年被称为自然语言处理（NLP）的“ImageNet 时刻”，自那以后，基于变压器（Transformer）架构的模型取得了惊人的进展。这些模型在巨大的数据集上进行训练，不断推动着 NLP 领域的发展。

• GPT 模型 ：Alec Radford 等 OpenAI 研究人员发表的 GPT 论文再次证明了无监督预训练的有效性。他们使用了类似变压器解码器的架构，由 12 个变压器模块堆叠而成，仅使用掩码多头注意力层。模型在大型数据集上使用自回归技术进行训练，即预测下一个标记，这是一种自监督学习形式。之后在各种语言任务上进行微调，包括文本分类、蕴含关系判断、相似度计算和问答等。
• BERT 模型 ：Google 的 BERT 模型同样展示了在大型语料库上进行自监督预训练的有效性。它使用了与 GPT 类似但仅包含非掩码多头注意力层的架构，类似于原始变压器的编码器，因此具有天然的双向性。BERT 提出了两个预训练任务：
  • 掩码语言模型（MLM） ：句子中的每个单词有 15%的概率被掩码，模型需要预测这些被掩码的单词。具体来说，每个被选中的单词有 80%的概率被掩码，10%的概率被随机单词替换，10%的概率保持不变。
  • 下一句预测（NSP） ：模型需要预测两个句子是否连续。在训练时，会在输入的开头插入一个类别标记（ ），对应的输出标记表示模型的预测结果。两个输入句子通过特殊分