一次性讲清楚Transformer 模型

于 2025-05-21 16:58:40 发布
阅读量693 收藏 11
点赞数 14
分类专栏： 计算机视觉 人工智能 深度学习 文章标签： 人工智能 自然语言处理 python 深度学习 知识图谱 transformer 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SharePython/article/details/148119698
版权

Transformer 模型

Transformer 模型是一种基于注意力机制的深度学习模型，最初由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出。

Transformer 彻底改变了自然语言处理（NLP）领域，并逐渐扩展到计算机视觉（CV）等领域。

Transformer 的核心思想是完全摒弃传统的循环神经网络（RNN）结构，仅依赖注意力机制来处理序列数据，从而实现更高的并行性和更快的训练速度。

以下是 Transformer 架构图，左边为编码器，右边为解码器。

Transformer 模型由 编码器（Encoder） 和 解码器（Decoder） 两部分组成，每部分都由多层堆叠的相同模块构成。

编码器（Encoder）

编码器由 NN 层相同的模块堆叠而成，每层包含两个子层：

  • 多头自注意力机制（Multi-Head Self-Attention）：计算输入序列中每个词与其他词的相关性。
  • 前馈神经网络（Feed-Forward Neural Network）：对每个词进行独立的非线性变换。

每个子层后面都接有 残差连接（Residual Connection） 和 层归一化（Layer Normalization）。

解码器（Decoder）

解码器也由 NN 层相同的模块堆叠而成，每层包含三个子层：

  • 掩码多头自注意力机制（Masked Multi-Head Self-Attention）：计算输出序列中每个词与前面词的相关性（使用掩码防止未来信息泄露）。
  • 编码器-解码器注意力机制（Encoder-Decoder Attention）：计算输出序列与输入序列的相关性。
  • 前馈神经网络（Feed-Forward Neural Network）：对每个词进行独立的非线性变换。

同样，每个子层后面都接有残差连接和层归一化。

在 Transformer 模型出现之前，NLP 领域的主流模型是基于 RNN 的架构，如长短期记忆网络（LSTM）和门控循环单元（GRU）。这些模型通过顺序处理输入数据来捕捉序列中的依赖关系，但存在以下问题：

  1. 梯度消失问题：长距离依赖关系难以捕捉。

  2. 顺序计算的局限性：无法充分利用现代硬件的并行计算能力，训练效率低下。

Transformer 通过引入自注意力机制解决了这些问题，允许模型同时处理整个输入序列，并动态地为序列中的每个位置分配不同的权重。

Transformer 的核心思想

1. 自注意力机制（Self-Attention）

自注意力机制是 Transformer 的核心组件。

自注意力机制允许模型在处理序列时，动态地为每个位置分配不同的权重，从而捕捉序列中任意两个位置之间的依赖关系。

  • 输入表示：输入序列中的每个词（或标记）通过词嵌入（Embedding）转换为向量表示。

  • 注意力权重计算：通过计算查询（Query）、键（Key）和值（Value）之间的点积，得到每个词与其他词的相关性权重。

  • 加权求和：使用注意力权重对值（Value）进行加权求和，得到每个词的上下文表示。

公式如下：

其中：

  • QQ 是查询矩阵，KK 是键矩阵，VV 是值矩阵。
  • dkdk​ 是向量的维度，用于缩放点积，防止梯度爆炸。

多头注意力（Multi-Head Attention）

为了捕捉更丰富的特征，Transformer 使用多头注意力机制。它将输入分成多个子空间，每个子空间独立计算注意力，最后将结果拼接起来。

  • 多头注意力的优势：允许模型关注序列中不同的部分，例如语法结构、语义关系等。

  • 并行计算：多个注意力头可以并行计算，提高效率。

位置编码（Positional Encoding）

由于 Transformer 没有显式的序列信息（如 RNN 中的时间步），位置编码被用来为输入序列中的每个词添加位置信息。通常使用正弦和余弦函数生成位置编码：

其中：

pospos 是词的位置，ii 是维度索引。

编码器-解码器架构

Transformer 模型由编码器和解码器两部分组成：

  • 编码器：将输入序列转换为一系列隐藏表示。每个编码器层包含一个自注意力机制和一个前馈神经网络。
  • 解码器：

根据编码器的输出生成目标序列。每个解码器层包含两个注意力机制（自注意力和编码器-解码器注意力）和一个前馈神经网络。

前馈神经网络（Feed-Forward Neural Network）

每个编码器和解码器层都包含一个前馈神经网络，通常由两个全连接层组成，中间使用 ReLU 激活函数。

残差连接和层归一化

为了稳定训练过程，每个子层（如自注意力层和前馈神经网络）后面都会接一个残差连接和层归一化（Layer Normalization）。

Transformer 的优势

  1. 并行计算：Transformer 可以同时处理整个输入序列，充分利用现代硬件的并行计算能力。

  2. 长距离依赖：自注意力机制能够捕捉序列中任意两个位置之间的依赖关系，解决了 RNN 的梯度消失问题。

  3. 可扩展性：Transformer 模型可以通过堆叠更多的层来提升性能，例如 BERT 和 GPT 等模型。

Transformer 的应用

  1. 自然语言处理（NLP）：

    • 机器翻译（如 Google Translate）

    • 文本生成（如 GPT 系列模型）

    • 文本分类、问答系统等。

  2. 计算机视觉（CV）：

    • 图像分类（如 Vision Transformer）

    • 目标检测、图像生成等。

  3. 多模态任务：

    • 结合文本和图像的任务（如 CLIP、DALL-E）。

 实例：

import torch
import torch.nn as nn
import torch.optim as optim

class TransformerModel(nn.Module):
    def __init__(self, input_dim, model_dim, num_heads, num_layers, output_dim):
        super(TransformerModel, self).__init__()
        self.embedding = nn.Embedding(input_dim, model_dim)
        self.positional_encoding = nn.Parameter(torch.zeros(1, 1000, model_dim))  # 假设序列长度最大为1000
        self.transformer = nn.Transformer(d_model=model_dim, nhead=num_heads, num_encoder_layers=num_layers)
        self.fc = nn.Linear(model_dim, output_dim)

    def forward(self, src, tgt):
        src_seq_length, tgt_seq_length = src.size(1), tgt.size(1)
        src = self.embedding(src) + self.positional_encoding[:, :src_seq_length, :]
        tgt = self.embedding(tgt) + self.positional_encoding[:, :tgt_seq_length, :]
        transformer_output = self.transformer(src, tgt)
        output = self.fc(transformer_output)
        return output

# 超参数
input_dim = 10000  # 词汇表大小
model_dim = 512    # 模型维度
num_heads = 8      # 多头注意力头数
num_layers = 6     # 编码器和解码器层数
output_dim = 10000 # 输出维度（通常与词汇表大小相同）

# 初始化模型、损失函数和优化器
model = TransformerModel(input_dim, model_dim, num_heads, num_layers, output_dim)
criterion = nn.CrossEntropyLoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 假设输入数据
src = torch.randint(0, input_dim, (10, 32))  # (序列长度, 批量大小)
tgt = torch.randint(0, input_dim, (20, 32))  # (序列长度, 批量大小)

# 前向传播
output = model(src, tgt)

# 计算损失
loss = criterion(output.view(-1, output_dim), tgt.view(-1))

# 反向传播和优化
optimizer.zero_grad()
loss.backward()
optimizer.step()

print("Loss:", loss.item()
 

优快云粉丝独家福利
这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】

👉1.2025最新版人工智能CV＋NLP入门学习思维导图👈
要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。
稍微导图链接：https://www.processon.com/view/link/650d85c2ec3841522691f8da

对于从来没有接触过人工智能CV＋NLP的同学，我们帮你准备了详细的学习成长路线图&学习规划。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。
（全套教程文末领取哈）
————————————————

👉2.人工智能CV＋NLP配套视频👈
很多朋友都不喜欢晦涩的文字，我也为大家准备了视频教程，每个章节都是当前板块的精华浓缩。
800G视频配套资料：

 👉3.人工智能CV＋NLP全套学习资料👈

1.python从入门到实战
2.机器学习从入门到项目实战
3.深度学习经典论文
4.数学方向知识汇总
5.人工智能项目实战
。。。。。。（全套教程文末领取哈）

👉4.人工智能CV＋NLP＋大模型经典学习电子书👈
随着人工智能技术的飞速发展，人工智能已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。（全套教程文末领取哈）

 

 

👉5.大模型面试题&答案👈
截至目前大模型已经超过200个，在大模型纵横的时代，不仅大模型技术越来越卷，就连大模型相关的岗位和面试也开始越来越卷了。为了让大家更容易上车大模型算法赛道，我总结了大模型常考的面试题。（全套教程文末领取哈）


优快云粉丝独家福利
这份完整版的 AI 大模型学习资料已经上传优快云，朋友们如果需要可以扫描下方二维码&点击下方优快云官方认证链接免费领取 【保证100%免费】
————————————————

【Graph vs Transformer】Transformer是GNN的一种特例
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
01-15 304
最近研读Transformer后，发现和GNN极其相似，于是开始调研他们之间的关系(对Transformer熟悉的可以直接跳过这一部分阅读)(对GNN熟悉的可以直接跳过这一部分阅读)
Transformer模型学习笔记
valleria的博客
01-14 2866
Transformer模型学习笔记前言回顾参考资料解读1. High-level的看一下,transformer大致是个什么样子2.详细看下, 具体结构,以及输入都长什么样3.self-attention层4.多头机制 Multi-head5.输入语句中词的顺序(Positional Encoding)6.剩余东西7.解码器(Decoder)8.最后输出层 前言 Google研究菌曰: 在tran...
Transformer 模型详解
AngelCryToo的专栏
08-20 692
Transformer 是一种基于注意力机制的神经网络架构，它最初是为了解决机器翻译问题而提出的，但它的应用范围现在已经扩展到许多自然语言处理（NLP）任务，如文本生成、情感分析、语音识别等。不同于传统的递归神经网络（RNN）或卷积神经网络（CNN），Transformer 利用全局的自注意力机制（Self-Attention）在不依赖顺序处理的情况下高效地处理序列数据。
Transformer 大模型详解——transformer模型
zhishi0000的博客
06-30 7302
解码器栈的输出是一个 float 向量。我们怎么把这个向量转换为一个词呢？通过一个线性层再加上一个 Softmax 层实现。线性层是一个简单的全连接神经网络，其将解码器栈的输出向量映射到一个更长的向量，这个向量被称为 logits 向量。现在假设我们的模型有 10000 个英文单词（模型的输出词汇表）。因此 logits 向量有 10000 个数字，每个数表示一个单词的分数。然后，Softmax 层会把这些分数转换为概率（把所有的分数转换为正数，并且加起来等于 1）。
Transformer 模型
最新发布
qq_25502783的博客
04-14 616
Transformer 模型是一种基于注意力机制的深度学习模型，最初由 Vaswani 等人在 2017 年的论文《Attention is All You Need》中提出。Transformer 彻底改变了自然语言处理（NLP）领域，并逐渐扩展到计算机视觉（CV）等领域。Transformer 的核心思想是完全摒弃传统的循环神经网络（RNN）结构，仅依赖注意力机制来处理序列数据，从而实现更高的并行性和更快的训练速度。以下是 Transformer 架构图，左边为编码器，右边为解码器。
聊聊Transform模型
2301_81940605的博客
05-18 1191
循环神经网络和长短期记忆网络已经广泛应用于时序任务，比如文本预测、机器翻译、文章生成等。然而，它们面临的一大问题就是如何记录长期依赖。 为了解决这个问题，一个名为Transformer的新架构应运而生。
transformer 模型介绍
weixin_43881088的博客
11-21 2158
主导序列转换模型基于复杂的循环或卷积神经网络，包括编码器和解码器。表现最好的模型还通过注意力机制连接编码器和解码器。我们提出了一种新的简单网络架构，Transformer，完全基于注意力机制，无需循环和卷积。在两项机器翻译任务上的实验表明，这些模型在质量上优于现有的最佳结果，包括集成模型，并且提高了超过2个BLEU。在WMT 2014英语到法语翻译任务上，我们的模型在八块GPU上进行训练3.5天后，建立了新的单一模型最先进的BLEU分数41.8，这是文献中最佳模型的训练成本的一小部分。
Transformer模型详解
weixin_49376454的博客
05-28 2174
Transformer模型详解（人工智能）
Transformer模型技术长文
吴建明wujianming_110117
04-21 2081
Transformer模型技术长文 可高效处理长文本的模型Longformer、和堪称“升级版”Transformer的BigBird模型，到底有什么区别？ Transformer的其他各种变体（X-former）到底都长什么样、又有哪些新应用？ 由于Transformer模型的发展速度日新月异，一天一个样，哪怕是隔段时间回来研究，模型可能也已经多了不少。 Transformer模型，是谷歌在2017年推出的NLP经典模型（Bert就是用的Transformer）。 本文参考链接 https://mp.w
改变AI历史的Transformer是如何帮助LLM大模型工作的？看图解密Transformer原理，看不懂算我输！
python122_的博客
06-28 805
在过去的几年里，大型语言模型(LLM)的出现，为长达数十年的智能机器构建的探索中带来了巨大的飞跃。这项基于试图模拟人类大脑的研究技术，也在近几年催生了一个新领域——Generative AI 生成式人工智能，简单理解就是可以通过模仿人类能力和水平，生成合理且复杂的文本、好看图像甚至是计算机的代码。
讲透一个强大的算法模型，Transformer
Python_cocola的博客
08-28 1438
今天给大家介绍一个超强的算法模型，TransformerTransformer 模型是一种基于注意力机制的深度学习模型，广泛应用于自然语言处理（NLP）任务，如机器翻译、文本生成和语义理解。它最初由 Vaswani 等人在2017年的论文《Attention is All You Need》中提出。它突破了传统序列模型（如RNN和LSTM）的局限，能够并行处理序列数据，从而大大提高了训练效率和模型性能。Transformer 模型的基本结构。
Transformer模型
kuxingseng123的博客
10-21 2771
不断的研究与看视频，最终目的是将transformer给其搞透彻，尤其是前向传播与反向传播，以及模型细节都给其研究透彻。
怎么讲清楚transformer架构
03-19
Transformer架构是一种用于自然语言处理任务的深度学习模型，它在机器翻译任务中首次被引入并取得了很大的成功。下面是对Transformer架构的简要介绍： Transformer架构主要由两个核心组件组成：编码器（Encoder）和解码器（Decoder）。编码器负责将输入序列转换为一系列高级特征表示，而解码器则根据这些特征表示生成输出序列。 在Transformer中，输入序列和输出序列都被表示为嵌入向量（Embedding Vector）。这些嵌入向量通过位置编码（Positional Encoding）与位置信息相结合，以便模型能够捕捉到序列中的顺序信息。 编码器由多个相同的层堆叠而成，每个层都包含两个子层：多头自注意力机制（Multi-Head Self-Attention）和前馈神经网络（Feed-Forward Neural Network）。多头自注意力机制能够帮助模型在处理输入序列时关注到不同位置的相关信息，而前馈神经网络则负责对特征进行非线性变换。 解码器也由多个相同的层堆叠而成，除了编码器的两个子层外，解码器还包含一个额外的自注意力机制，用于帮助模型在生成输出序列时关注到输入序列的相关信息。 Transformer架构的一个重要特点是使用了残差连接（Residual Connection）和层归一化（Layer Normalization），这些技术有助于缓解梯度消失和加速训练过程。 总结一下，Transformer架构通过编码器和解码器的堆叠，利用自注意力机制和前馈神经网络来处理输入序列和生成输出序列。它的设计使得模型能够更好地捕捉到序列中的长距离依赖关系，从而在自然语言处理任务中取得了很好的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值