终于把 transformer 算法搞懂了！！

今天给大家分享一个强大的算法模型，transformer

Transformer 算法是一种基于注意力机制（Attention Mechanism）的深度学习模型，最早由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出。

与传统的循环神经网络（RNN）和长短期记忆网络（LSTM）不同，Transformer 完全基于注意力机制，实现了更高的并行性和更好的长距离依赖建模能力。

Transformer 模型因其强大的性能和灵活性，广泛应用于自然语言处理（NLP）、计算机视觉等领域，并成为现代深度学习的重要基石。

Transformer 模型的整体架构

Transformer 模型主要由编码器（Encoder）和解码器（Decoder）两部分组成，每部分由多个相同的层（Layer）堆叠而成。

编码器负责将输入序列转换为上下文相关的表示，解码器则基于编码器的输出生成目标序列。

编码器

编码器由 N 个相同的编码器层组成，每个编码器层包括两个子层。

1. 多头自注意力机制（Multi-Head Self-Attention）

2. 前馈神经网络（Feed-Forward Network）

解码器

解码器同样由 N 个相同的解码器层组成，每个解码器层包括三个子层。

1. 掩蔽多头自注意力机制（Masked Multi-Head Self-Attention）

2. 编码器-解码器注意力机制（Encoder-Decoder Attention）

3. 前馈神经网络（Feed-Forward Network）

每个子层后均采用残差连接（Residual Connection）和层归一化（Layer Normalization），以促进梯度传播和模型稳定性。

核心组件

1.输入嵌入

输入嵌入将离散的输入词汇（如单词、子词或字符）映射到连续的高维向量空间。

这些向量表示捕捉了词汇之间的语义和语法关系，是 Transformer 处理序列数据的基础。

数学表示

对于输入序列中的每个词汇 ，输入嵌入层通过查找嵌入矩阵 将其转换为一个 维的向量，其中 V 是词汇表大小， 是模型的维度。

import torch
import torch.nn as nn

vocab_size = 10000  #