Transformer模型介绍

1.transformer介绍

2017年Google的《Attention Is All You Need》

Transformer 2017 年被提出，NLP中红极一时的 BERT、GPT-2 都采用了基于 Transformer 的架构。近年来，Transformer 成为深度学习领域非常受欢迎的一种架构，它依赖于一种简单但却十分强大的机制——注意力机制，使得 AI 模型有选择地聚焦于输入的某些部分，因此推理更加高效。

Transformer 已经广泛应用于序列数据的处理，尤其是在语言建模、机器翻译等自然语言处理领域。此外，它在语音识别、符号数学、强化学习等多个领域也有应用。

• transformer主要组成
  Transformer 主要由两个部分组成：
  编码器（Encoder）：将输入序列转换为一个隐表示（向量表示）。
  解码器（Decoder）：从隐表示生成输出序列。
  编码器 和 解码器 都由多个 层（layers） 组成，每层都包括一个 自注意力机制 和一个 前馈神经网络（Feed-Forward Neural Network, FFN）。
  
  

2.模型重要概念理解

Transformer 的核心概念是 自注意力机制（Self-Attention Mechanism），它允许模型在处理每个输入时“关注”输入序列的不同部分。这种机制让模型能够理解每个单词或符号与其他单词或符号之间的关系，而不是逐个地线性处理输入。

2.1自注意力机制的宏观理解

输入句子：The animal didn’t cross the street because it was too tired。
句子中的it指代什么？它与句子中的每个词有着什么样的联系？

2.2序列编码

深度学习做NLP的方法，要先将句子分词，然后每个词转化为对应的词向量序列。这样一来，每个句子都对应的是一个矩阵$X=(x_1,x_2,...x_t)$,其中