Transformer 模型介绍（一）——综述

已于 2025-02-22 14:51:14 修改
阅读量1.8k 收藏 27
点赞数 25
分类专栏： 具身智能算法基础 文章标签： transformer 深度学习 人工智能
于 2025-02-13 23:43:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_28912651/article/details/145607716
版权

Transformer 是一种完全基于注意力机制的神经网络模型，首次在2017年的论文《Attention Is All You Need》中提出。该模型最初用于机器翻译任务，并在特定任务中表现优于谷歌的其他神经网络机器翻译模型。Transformer 也是 Seq2Seq（序列到序列）结构的模型，但与之前基于 RNN（循环神经网络）的 Seq2Seq 模型相比，Transformer 具有更好的并行性，能够显著提高模型的训练和推理速度

目录

1 Transformer 的核心特点

1.1 自注意力机制（Self-Attention）

1.2 多头注意力（Multi-Head Attention）

1.3 位置编码（Positional Encoding）

1.4 编码器-解码器结构（Encoder-Decoder Architecture）

1.5 并行性

2 架构及工作流程

2.1 输入（Input）

2.2 编码器（Encoder）

2.3 解码器（Decoder）

2.4 输出（Output）

3 通俗比喻

1 Transformer 的核心特点

1.1 自注意力机制（Self-Attention）

  • Transformer 的核心是自注意力机制，它允许模型在处理输入序列时，关注序列中的不同部分。通过计算每个词与其他词的相关性，模型能够捕捉到长距离依赖关系

  • 自注意力机制的计算公式如下：

\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V

其中，Q（查询）、K（键）、V（值）是输入序列的线性变换，dk​ 是键的维度

1.2 多头注意力（Multi-Head Attention）

  • 为了增强模型的表达能力，Transformer 使用了多头注意力机制。它将输入序列分别映射到多个不同的子空间，并在每个子空间中计算注意力，最后将结果拼接起来

  • 多头注意力的计算公式如下：

\text{MultiHead}(Q, K, V) = \text{Concat}(\text{head}_1, \text{head}_2, \dots, \text{head}_h)W^O

其中，每个 headi​ 是单头注意力的计算结果，WO 是输出权重矩阵

1.3 位置编码（Positional Encoding）

  • 由于 Transformer 不使用 RNN，因此需要一种方式来表示序列中词的位置信息。Transformer 通过位置编码将位置信息注入到输入序列中。

  • 位置编码的计算公式如下：

PE_{(pos, 2i)} = \sin\left(\frac{pos}{10000^{\frac{2i}{d_{\text{model}}}}}\right), \quad PE_{(pos, 2i+1)} = \cos\left(\frac{pos}{10000^{\frac{2i}{d_{\text{model}}}}}\right)

其中，pos 是位置，i 是维度

1.4 编码器-解码器结构（Encoder-Decoder Architecture）

  • Transformer 由编码器和解码器两部分组成。编码器将输入序列映射为一系列隐藏表示，解码器则根据这些表示生成输出序列

  • 编码器和解码器都由多个相同的层堆叠而成，每层包含多头注意力机制和前馈神经网络

1.5 并行性

  • 由于 Transformer 不依赖于 RNN 的递归结构，因此可以并行处理整个输入序列，大大提高了训练和推理的速度

2 架构及工作流程

2.1 输入（Input）

  • 接受输入数据，通过输入 Tokenizer 和 Embedding 进行预处理

  • Tokenizer 将输入文本分割为 token，Embedding 将 token 映射为固定维度的向量表示

2.2 编码器（Encoder）

  • 编码器由多个相同的层（Nx）堆叠而成

  • 每一层包括以下两个主要组件：

    1. 多头自注意力机制（Multi-Head Attention）：

      • 计算输入序列中每个 token 与其他 token 的相关性

    2. 前馈神经网络（Feed Forward）：

      • 对每个 token 的表示进行非线性变换

  • 每个子层后都进行加和归一化（Add & Norm）：

    • 加和（Add）：将子层的输入与输出相加（残差连接）

    • 归一化（Norm）：对结果进行层归一化（Layer Normalization）

2.3 解码器（Decoder）

  • 解码器也由多个相同的层（Nx）堆叠而成

  • 每层包括以下三个主要组件：

    1. 掩码多头自注意力机制（Masked Multi-Head Attention）：

      • 用于处理解码器输入数据的注意力计算，通过掩码防止未来 token 的信息泄露

    2. 多头自注意力机制（Multi-Head Attention）：

      • 计算解码器输出与编码器输出的相关性

    3. 前馈神经网络（Feed Forward）：

      • 对每个 token 的表示进行非线性变换

  • 每个子层后同样进行加和归一化（Add & Norm）。

2.4 输出（Output）

  • 解码器的输出通过以下步骤生成最终结果：

    1. 线性层（Linear）：

      • 将解码器的输出映射到目标词汇表大小的维度

    2. Softmax 函数：

      • 将线性层的输出转换为概率分布

  • 最终生成输出概率分布（Output Probabilities），用于预测下一个 token 或生成目标序列

3 通俗比喻

可以用更通俗的比喻来理解Transformer：

想象你是一个国际会议的翻译员。传统的翻译系统（RNN模型）像是只能逐个单词记录的小本子，必须按顺序记录每个词，遇到长句子就容易记混重点。而Transformer则像是一支分工明确的高效团队：

1️⃣【注意力聚焦】团队成员通过"注意力放大镜"（注意力机制）同时观察整个句子，自动识别关键信息。比如翻译"那只站在树下的黑白猫吃了鱼"时，他们会同时注意到"猫-吃-鱼"的核心关系，以及"树下-黑白"的修饰信息，就像团队中有人专门记录动作，有人负责观察场景

2️⃣【并行工作流】不同于传统翻译必须逐字处理，这个团队可以多人同时工作。就像快递分拣中心同时处理多个包裹，Transformer能并行处理所有单词，训练速度比传统模型快6倍以上，这也是它迅速成为AI核心技术的原因

3️⃣【全局理解力】在翻译长文本时，传统方法像用手电筒逐字照亮，而Transformer像打开了整个房间的灯，能同时看清所有词语之间的关系。这种全局视野让它特别擅长处理需要长距离关联的任务，比如理解"虽然昨天下雨了，但是因为小明带了伞，所以..."这类复杂逻辑

正是这些突破，让Transformer不仅成为翻译利器，还成为了ChatGPT等大语言模型的核心架构。就像内燃机彻底改变了交通工具，Transformer机制正在重塑人工智能的发展方向

用于骨骼动作识别的卷积网络模型——综述
一杯水果茶！足矣~
09-03 1028
基于骨架的动作识别根据网络结构可分为： - CNN（主要是时域卷积TCN） - RNN（主要是LSTM） - GCN（如经典的ST-GCN，CTR-GCN） 其中以基于 GCN 的方法最为主流。PoseC3D 首先分析了 GCN 的局限性，然后提出了一种基于三维卷积，即 C3D 的方法。
llm综述——通过一篇综述全面了解大模型
xs86467的博客
10-02 1064
A large-scale, pre-trained, statistical language models based on neural networks. (大模型：基于神经网络的大规模预训练统计语言模型。语言模型的发展可以被分为四个阶段：统计模型、神经网络语言模型、预训练模型。与PLMs（预训练语言模型）相比，LLMs不仅仅在模型参数量上大，在语言理解、生成能力上也展现出更强的实力。更重要的是，
transformer理解
qq_22613769的博客
08-31 7240
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN和LSTM 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。 1.Transformer 结构 首先介绍 Transformer 的整体结构，下图是 Transformer 用于中英文翻译的整体结构。 ...
人工智能（二）-Transformer模型
m0_69270256的博客
05-22 8436
上篇文章以对话模式为例讲了目前人工智能的整体架构，但是大模型依然有很多细节问题，这里作者讲一讲目前的Transformers模型原理。
Transformer 模型介绍
最新发布
SO_zxn的博客
03-23 1499
Transformer 模型介绍
Transformer 大模型详解——transformer模型
zhishi0000的博客
06-30 7287
解码器栈的输出是一个 float 向量。我们怎么把这个向量转换为一个词呢？通过一个线性层再加上一个 Softmax 层实现。线性层是一个简单的全连接神经网络，其将解码器栈的输出向量映射到一个更长的向量，这个向量被称为 logits 向量。现在假设我们的模型有 10000 个英文单词（模型的输出词汇表）。因此 logits 向量有 10000 个数字，每个数表示一个单词的分数。然后，Softmax 层会把这些分数转换为概率（把所有的分数转换为正数，并且加起来等于 1）。
Transformer模型详解
热门推荐
人无远虑，必有近忧
01-19 2万+
transformer结构是google在2017年的Attention Is All You Need论文中提出，在NLP的多个任务上取得了非常好的效果，可以说目前NLP发展都离不开transformer。最大特点是抛弃了传统的CNN和RNN，整个网络结构完全是由Attention机制组成。 由于其出色性能以及对下游任务的友好性或者说下游任务仅仅微调即可得到不错效果，在计算机视觉领域不断有人尝试将transformer引入，近期也出现了一些效果不错的尝试，典型的如目标检测领域的detr和可变形detr，分
Transformer模型
m0_70066267的博客
08-01 2336
Transformer模型是一种在自然语言处理（NLP）及其他序列到序列（Seq2Seq）任务中广泛使用的深度学习模型框架。其基本原理和核心组件，尤其是自注意力机制（Self-Attention Mechanism），对于理解该模型的工作方式至关重要。以下是对Transformer模型基本原理和自注意力机制的详细解释。
Transformer 模型详解
酒酿小圆子呀～
03-27 5737
本内容主要介绍 Transformer 模型的具体实现。2017 年，Google 在论文 Attention is All you need 中提出了 Transformer 模型，其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 网络结构。相比 RNN 网络结构，其最大的优点是可以并行计算。
生物大模型——ESM模型（一）
weixin_47520540的博客
08-11 2万+
ESM是用于蛋白质序列建模的深度学习模型。它属于蛋白质语言模型家族，通过对大量的蛋白质序列进行训练，能够学习到序列中的进化信息
Transformer最新综述
06-10
Transformer 在自然语言处理、计算机视觉、音频处理等许多人工智能领域都取得了巨大的成功，也吸引了学术界和行业研究人员的大量兴趣。到目前为止，已经有各种各样的 Transformer 变体（又名 X-former）被提出，但是，关于这些 Transformer 变体的系统而全面的文献综述仍然缺失。这篇综述对各种 X-former 进行了全面介绍。
Learning Spatio-Temporal Transformer for Visual Tracking——精读笔记
学海无涯，快乐行舟
12-08 2405
本篇精读笔记，对原文重要部分做了严格翻译，如摘要和总结。对正文部分做了提炼，对重点部分突出标注。对参考文献做了分类。本文内容较长，如果时间有限可以直接跳到感兴趣的小节阅读。
最新视觉Transformer综述（2017-2020年）
zandaoguang的博客
01-13 5860
点击上方“视学算法”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨坐化@知乎（已授权）来源丨https://zhuanlan.zhihu.com/p/342114...
一文彻底搞懂 Transformer（图解+代码手撕）
2201_75499313的博客
04-21 6096
Transformer 通过其捕捉上下文和理解语言的能力，彻底改变了自然语言处理（NLP）领域。通过注意力机制、编码器-解码器架构和多头注意力，它们使得诸如机器翻译和情感分析等任务得以在前所未有的规模上实现。随着我们继续探索诸如 BERT 和 GPT 等模型，很明显，Transformer 处于语言理解和生成的前沿。它们对 NLP 的影响深远，而与 Transformer 一起的发现之旅将揭示出该领域更多令人瞩目的进展。研究论文。
【自然语言处理】Transformer 模型：概述及分类（综述）
书山有路，学海无涯。记录成长，追逐梦想
02-20 9067
在过去的数年里，基于 Transformer 的相关模型层出不穷。本文将对当下最流行的 Transformer 模型做一个简单全面的介绍。
Transformer综述
蓝鲸鱼的博客
05-05 1038
文章目录1 encoder2 decoder2.1 masked self-attention2.2 cross attention3. Training Transformer由一个encoder和一个decoder组成。 1 encoder 对于通常的seq2seq的结构，每一个encoder内部，由若干个block组成，每一个block包含一个self-attention的结构和fc层。 对于transformer： 首先将每一个Block增加了residual的结构，即将输入和输出加在一起作为
Transformer模型讲解
qq_45301231的博客
05-20 2539
Transrofmer模型讲解 接下来我将介绍《Attention is all you need》这篇论文。这篇论文是google机器翻译团队在2017年6月放在arXiv上，最后发表在2017年nips上，到目前为止google学术显示引用量为2203，可见也是受到了大家广泛关注和应用。这篇论文主要亮点在于 1）不同于以往主流机器翻译使用基于RNN的seq2seq模型框架，该论文用attention机制代替了RNN搭建了整个模型框架。 2）提出了多头注意力（Multi-headed attention）
transformer介绍
07-11
Transformer是一种基于自注意力机制的神经网络模型，由Vaswani等人在2017年提出，用于序列到序列的任务，如机器翻译。相较于传统的循环神经网络（如LSTM或GRU），Transformer具有以下创新之处： 1. 自注意力机制（Self-Attention）：传统的循环神经网络在处理序列时需要按顺序逐个处理输入，但自注意力机制能够同时考虑所有位置之间的关系，无需按顺序处理。这使得Transformer能够更好地捕捉长距离依赖关系。 2. 多头注意力机制（Multi-Head Attention）：Transformer引入了多个注意力头，通过在不同的表示子空间中进行注意力计算，可以捕捉不同层次和角度的信息。 3. 位置编码（Positional Encoding）：为了在输入序列中保留位置信息，Transformer使用了位置编码技术，将位置信息嵌入到输入表示中。 4. 前馈神经网络（Feed-Forward Neural Networks）：Transformer中还包含了两个全连接层，用于对每个位置的表示进行非线性变换。 由于上述创新设计，Transformer在机器翻译等序列到序列任务中取得了很好的效果，并且成为了自然语言处理领域的重要模型。它不仅能够处理文本数据，还可以应用于其他领域的序列数据建模问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值