Pytorch Transformer

已于 2025-07-02 23:59:03 修改
阅读量986 收藏 20
点赞数 28
CC 4.0 BY-SA版权
分类专栏： 人工智能 计算机视觉 文章标签： pytorch 人工智能 python
于 2025-06-30 01:01:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/TyearLin/article/details/149006886

Transformer 模型是一种基于自注意力机制（Self-Attention）的深度学习架构，彻底革新了自然语言处理（NLP）、计算机视觉（CV）等序列数据处理领域。其核心设计摒弃了传统循环神经网络（RNN）的顺序依赖性，实现了高效并行计算与长距离依赖捕捉能力

‌1 核心架构与机制‌

Transformer 模型是一种基于注意力机制的深度学习模型，最初由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出。

Transformer 彻底改变了自然语言处理（NLP）领域，并逐渐扩展到计算机视觉（CV）等领域。

Transformer 的核心思想是完全摒弃传统的循环神经网络（RNN）结构，仅依赖注意力机制来处理序列数据，从而实现更高的并行性和更快的训练速度。

以下是 Transformer 架构图，左边为编码器，右边为解码器。

Transformer 模型由 编码器（Encoder） 和 解码器（Decoder） 两部分组成，每部分都由多层堆叠的相同模块构成。

1.1 编码器（Encoder）

编码器由 NN 层相同的模块堆叠而成，每层包含两个子层：

  • 多头自注意力机制（Multi-Head Self-Attention）：计算输入序列中每个词与其他词的相关性。
  • 前馈神经网络（Feed-Forward Neural Network）：对每个词进行独立的非线性变换。

每个子层后面都接有 残差连接（Residual Connection） 和 层归一化（Layer Normalization）。

1.2 解码器（Decoder）

解码器也由 NN 层相同的模块堆叠而成，每层包含三个子层：

  • 掩码多头自注意力机制（Masked Multi-Head Self-Attention）：计算输出序列中每个词与前面词的相关性（使用掩码防止未来信息泄露）。
  • 编码器-解码器注意力机制（Encoder-Decoder Attention）：计算输出序列与输入序列的相关性。
  • 前馈神经网络（Feed-Forward Neural Network）：对每个词进行独立的非线性变换。

同样，每个子层后面都接有残差连接和层归一化。

在 Transformer 模型出现之前，NLP 领域的主流模型是基于 RNN 的架构，如长短期记忆网络（LSTM）和门控循环单元（GRU）。这些模型通过顺序处理输入数据来捕捉序列中的依赖关系，但存在以下问题：

  1. 梯度消失问题：长距离依赖关系难以捕捉。

  2. 顺序计算的局限性：无法充分利用现代硬件的并行计算能力，训练效率低下。

Transformer 通过引入自注意力机制解决了这些问题，允许模型同时处理整个输入序列，并动态地为序列中的每个位置分配不同的权重。

1.3 核心思想

自注意力机制是 Transformer 的核心组件。

1.3.1 自注意力机制（Self-Attention）

自注意力机制允许模型在处理序列时，动态地为每个位置分配不同的权重，从而捕捉序列中任意两个位置之间的依赖关系。

  • 输入表示：输入序列中的每个词（或标记）通过词嵌入（Embedding）转换为向量表示。

  • 注意力权重计算：通过计算查询（Query）、键（Key）和值（Value）之间的点积，得到每个词与其他词的相关性权重。

  • 加权求和：使用注意力权重对值（Value）进行加权求和，得到每个词的上下文表示。

公式如下：

Attention(Q,K,V)=softmax(QKTdk)VAttention(Q,K,V)=softmax(dk​​QKT​)V

其中：

  • QQ 是查询矩阵，KK 是键矩阵，VV 是值矩阵。
  • dkdk​ 是向量的维度，用于缩放点积，防止梯度爆炸。
1.3.2 多头注意力（Multi-Head Attention）

为了捕捉更丰富的特征，Transformer 使用多头注意力机制。它将输入分成多个子空间，每个子空间独立计算注意力，最后将结果拼接起来。

  • 多头注意力的优势：允许模型关注序列中不同的部分，例如语法结构、语义关系等。

  • 并行计算：多个注意力头可以并行计算，提高效率。

1.3.3 位置编码（Positional Encoding）

由于 Transformer 没有显式的序列信息（如 RNN 中的时间步），位置编码被用来为输入序列中的每个词添加位置信息。通常使用正弦和余弦函数生成位置编码：

PE(pos,2i)=sin⁡(pos100002i/dmodel)PE(pos,2i)​=sin(100002i/dmodel​pos​)PE(pos,2i+1)=cos⁡(pos100002i/dmodel)PE(pos,2i+1)​=cos(100002i/dmodel​pos​)

其中：

pospos 是词的位置，ii 是维度索引。

1.3.4 编码器-解码器架构

Transformer 模型由编码器和解码器两部分组成：

  • 编码器：将输入序列转换为一系列隐藏表示。每个编码器层包含一个自注意力机制和一个前馈神经网络。
  • 解码器：

根据编码器的输出生成目标序列。每个解码器层包含两个注意力机制（自注意力和编码器-解码器注意力）和一个前馈神经网络。

1.3.5 前馈神经网络（Feed-Forward Neural Network）

每个编码器和解码器层都包含一个前馈神经网络，通常由两个全连接层组成，中间使用 ReLU 激活函数。

1.3.6 残差连接和层归一化

为了稳定训练过程，每个子层（如自注意力层和前馈神经网络）后面都会接一个残差连接和层归一化（Layer Normalization）。

2 技术优势‌

‌特性‌‌说明‌
‌并行计算能力‌摆脱序列顺序限制，大幅提升训练速度（相比 RNN/LSTM）
‌长距离依赖建模‌自注意力直接关联任意距离的元素，解决梯度消失问题
‌跨领域泛化性‌成功扩展至 CV（如 VGGT 统一 3D 几何感知）、语音识别等领域

‌3 前沿应用与优化‌

  1. ‌工业级优化案例‌

    • ‌英伟达 DLSS 4‌：采用 Transformer 替代卷积神经网络（CNN），显存占用减少 20%，动态场景重影降低 31%，提升图像渲染质量
    • ‌VGGT 模型‌：纯前馈 Transformer 架构，实现多视图 3D 几何属性（相机参数、点云等）统一推理，获 CVPR 2025 最佳论文

  2. ‌NLP 任务实践‌

    • ‌预训练-微调范式‌：BERT（编码器）、GPT（解码器）等模型通过海量语料预训练，迁移至下游任务（如机器翻译、情感分析）
    • ‌检索增强生成（RAG）‌：结合外部知识库提升问答系统准确性
  3. 多模态  结合文本和图像的任务（如 CLIP、DALL-E）。

‌4 开源生态‌

  • ‌Hugging Face Transformers‌：提供 BERT、GPT 等预训练模型接口，支持快速部署
  • ‌训练框架‌：PyTorch、TensorFlow 均内置 Transformer 模块，简化自定义模型开发

‌典型模型分类‌：

  • ‌GPT 系列‌（自回归生成）
  • ‌BERT 系列‌（双向编码）
  • ‌BART/T5‌（序列到序列）

Transformer 凭借其架构灵活性与性能优势，已成为 AI 大模型（如 LLaMA、GPT-4）的基石，持续推动多模态智能发展

5 实例

import torch
import torch.nn as nn
import torch.optim as optim

class TransformerModel(nn.Module):
    def __init__(self, input_dim, model_dim, num_heads, num_layers, output_dim):
        super(TransformerModel, self).__init__()
        self.embedding = nn.Embedding(input_dim, model_dim)
        self.positional_encoding = nn.Parameter(torch.zeros(1, 1000, model_dim))  # 假设序列长度最大为1000
        self.transformer = nn.Transformer(d_model=model_dim, nhead=num_heads, num_encoder_layers=num_layers)
        self.fc = nn.Linear(model_dim, output_dim)

    def forward(self, src, tgt):
        src_seq_length, tgt_seq_length = src.size(1), tgt.size(1)
        src = self.embedding(src) + self.positional_encoding[:, :src_seq_length, :]
        tgt = self.embedding(tgt) + self.positional_encoding[:, :tgt_seq_length, :]
        transformer_output = self.transformer(src, tgt)
        output = self.fc(transformer_output)
        return output

# 超参数
input_dim = 10000  # 词汇表大小
model_dim = 512    # 模型维度
num_heads = 8      # 多头注意力头数
num_layers = 6     # 编码器和解码器层数
output_dim = 10000 # 输出维度（通常与词汇表大小相同）

# 初始化模型、损失函数和优化器
model = TransformerModel(input_dim, model_dim, num_heads, num_layers, output_dim)
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 假设输入数据
src = torch.randint(0, input_dim, (10, 32))  # (序列长度, 批量大小)
tgt = torch.randint(0, input_dim, (20, 32))  # (序列长度, 批量大小)

# 前向传播
output = model(src, tgt)

# 计算损失
loss = criterion(output.view(-1, output_dim), tgt.view(-1))

# 反向传播和优化
optimizer.zero_grad()
loss.backward()
optimizer.step()

print("Loss:", loss.item())

Pytorch中 nn.Transformer的使用详解与Transformer的黑盒讲解
iioSnail的博客
07-28 9万+
1. Transformer的训练过程讲解 2. Transformer的推理过程讲解 3. Transformer的入参和出参讲解 4. nn.Transformer的各个参数讲解 5. nn.Transformer的mask机制详解 6. 实战：使用nn.Transformer训练一个copy任务。
Transformer模型学习笔记
不忘初心 加油
12-01 3396
1 参考资料 该文介绍了RNN到Transformer的特征提取器，很全面 该文对Transformer论文的解释和介绍很清楚 该文对Transformer介绍也很透彻，本文主要内容来自这里，建议看 论文的原文地址 2 模型主要内容 该模型是google提出的主要利用Attention思想做词embedding，也可以称为特征抽取器。目前大热的Bert也是以改模型为基础设计的，本文主要是对该模型进行一个学习记录。 模型的总体结构 该模型原本是由Google推出应用在翻译上的，因此，我们可以理解为，Trans
Transformer 模型详解
AngelCryToo的专栏
08-20 742
Transformer 是一种基于注意力机制的神经网络架构，它最初是为了解决机器翻译问题而提出的，但它的应用范围现在已经扩展到许多自然语言处理（NLP）任务，如文本生成、情感分析、语音识别等。不同于传统的递归神经网络（RNN）或卷积神经网络（CNN），Transformer 利用全局的自注意力机制（Self-Attention）在不依赖顺序处理的情况下高效地处理序列数据。
Transformer 大模型详解——transformer模型
zhishi0000的博客
06-30 7651
解码器栈的输出是一个 float 向量。我们怎么把这个向量转换为一个词呢？通过一个线性层再加上一个 Softmax 层实现。线性层是一个简单的全连接神经网络，其将解码器栈的输出向量映射到一个更长的向量，这个向量被称为 logits 向量。现在假设我们的模型有 10000 个英文单词（模型的输出词汇表）。因此 logits 向量有 10000 个数字，每个数表示一个单词的分数。然后，Softmax 层会把这些分数转换为概率（把所有的分数转换为正数，并且加起来等于 1）。
使用Pytorch从零实现Transformer模型
最新发布
Gupao123的博客
05-12 1042
人工智能深度学习涨薪就业班。
Transformer 模型
qq_25502783的博客
04-14 707
Transformer 模型是一种基于注意力机制的深度学习模型，最初由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出。Transformer 彻底改变了自然语言处理（NLP）领域，并逐渐扩展到计算机视觉（CV）等领域。Transformer 的核心思想是完全摒弃传统的循环神经网络（RNN）结构，仅依赖注意力机制来处理序列数据，从而实现更高的并行性和更快的训练速度。以下是 Transformer 架构图，左边为编码器，右边为解码器。
聊聊Transform模型
2301_81940605的博客
05-18 1209
循环神经网络和长短期记忆网络已经广泛应用于时序任务，比如文本预测、机器翻译、文章生成等。然而，它们面临的一大问题就是如何记录长期依赖。 为了解决这个问题，一个名为Transformer的新架构应运而生。
transformer 模型介绍
weixin_43881088的博客
11-21 2270
主导序列转换模型基于复杂的循环或卷积神经网络，包括编码器和解码器。表现最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单网络架构，Transformer，完全基于注意力机制，无需循环和卷积。在两项机器翻译任务上的实验表明，这些模型在质量上优于现有的最佳结果，包括集成模型，并且提高了超过2个BLEU。在WMT 2014英语到法语翻译任务上，我们的模型在八块GPU上进行训练3.5天后，建立了新的单一模型最先进的BLEU分数41.8，这是文献中最佳模型的训练成本的一小部分。
pytorch transformer notebook 源代码
04-19
pytorch transformer notebook 源代码
基于pytorch实现Transformer模型的最简洁方式源码+模型+详细注释+运行说明.zip
05-15
PyTorch是一个流行的深度学习框架，它提供了灵活的接口来构建和训练神经网络，包括Transformer模型。以下是对基于PyTorch实现Transformer模型的最简洁方式源码的详细解析。 首先，Transformer模型主要由以下几个...
PyTorch实现基于Transformer的神经机器翻译
07-01
**PyTorch实现基于Transformer的神经机器翻译** 神经机器翻译（Neural Machine Translation, NMT）是一种使用深度学习模型进行翻译的技术，它替代了传统的基于短语或词典的统计机器翻译方法。Transformer模型是NMT...
Pytorch编写Transformer
a_blade_of_grass的博客
06-19 1972
本文参考自在学习了图解Transformer以后，需要用Pytorch编写Transformer，下面是写代码的过程中的总结，结构根据图解Transformer进行说明。
讲透一个强大的算法模型，Transformer
Python_cocola的博客
08-28 1499
今天给大家介绍一个超强的算法模型，TransformerTransformer 模型是一种基于注意力机制的深度学习模型，广泛应用于自然语言处理（NLP）任务，如机器翻译、文本生成和语义理解。它最初由 Vaswani 等人在2017年的论文《Attention is All You Need》中提出。它突破了传统序列模型（如RNN和LSTM）的局限，能够并行处理序列数据，从而大大提高了训练效率和模型性能。Transformer 模型的基本结构。
Transformer模型
kuxingseng123的博客
10-21 2807
不断的研究与看视频，最终目的是将transformer给其搞透彻，尤其是前向传播与反向传播，以及模型细节都给其研究透彻。
PyTorch transformer
04-26
### PyTorch 中 Transformer 的使用指南 #### 1. 安装依赖 为了在 PyTorch 中使用 Transformer 模型，首先需要安装 `transformers` 库。可以通过以下命令完成安装[^2]: ```bash pip install transformers ``` #### 2. 加载预训练模型 加载预训练的 Transformer 模型通常分为两步：初始化分词器（Tokenizer）和模型本身。以下是具体代码示例： ```python from transformers import AutoTokenizer, AutoModel # 初始化分词器 tokenizer = AutoTokenizer.from_pretrained("bert-base-uncased") # 初始化模型 model = AutoModel.from_pretrained("bert-base-uncased") ``` 此部分展示了如何通过 Hugging Face 提供的接口加载预训练模型及其对应的分词器[^2]。 #### 3. 输入数据准备 输入数据需经过分词器处理并转化为张量形式以便于模型接收。下面是一个简单的例子： ```python text = "Hello world!" inputs = tokenizer(text, return_tensors="pt") # 将文本转为 PyTorch Tensor print(inputs) ``` 这段代码说明了如何将字符串类型的文本转换成适合 Transformer 处理的形式。 #### 4. 前向传播计算 一旦准备好输入数据，就可以将其传递给模型执行前向传播操作： ```python outputs = model(**inputs) # 输出最后一层隐藏状态 last_hidden_states = outputs.last_hidden_state print(last_hidden_states.shape) # (batch_size, sequence_length, hidden_size) ``` 这里解释了如何获取模型输出的最后一层隐藏状态，并打印其形状以验证维度是否符合预期[(batch_size, seq_length, embed_dim)][^3]。 #### 5. 自定义 Transformer 层 如果想构建自己的 Transformer 架构而不是直接使用现有的预训练版本，则可以利用 PyTorch 提供的基础组件来实现自定义网络结构。例如创建一个多头注意力机制加前馈神经网络组成的单个 Transformer 编码器层如下所示： ```python import torch.nn as nn import torch class CustomTransformerEncoderLayer(nn.Module): def __init__(self, d_model=768, nhead=12, dim_feedforward=3072, dropout=0.1): super(CustomTransformerEncoderLayer, self).__init__() self.self_attn = nn.MultiheadAttention(d_model, nhead, dropout=dropout) self.linear1 = nn.Linear(d_model, dim_feedforward) self.dropout = nn.Dropout(dropout) self.linear2 = nn.Linear(dim_feedforward, d_model) def forward(self, src, src_mask=None, src_key_padding_mask=None): attn_output, _ = self.self_attn(src, src, src, attn_mask=src_mask, key_padding_mask=src_key_padding_mask) output = self.linear2(self.dropout(torch.relu(self.linear1(attn_output)))) return output ``` 该片段展示了一个简化版的自定义 Transformer 编码器层的设计思路[^3]。 #### 6. 参数初始化方法 对于某些特定场景下可能需要用到特殊的参数初始化策略比如 Xavier Uniform Initialization 来提升收敛速度或者改善泛化能力等效果。下面给出了一种常见的做法实例演示： ```python import torch.nn.init as init w = torch.empty(3, 5) init.xavier_uniform_(w) print(w) ``` 这是关于如何应用 Xavier Uniform Initialization 对权重矩阵进行初始化的一个简单案例[^3]。 --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值