图解Transformer架构设计

Transformer模型原理图解:从Self-Attention到BERT的演进之路 本文通过图解方式,深入浅出地解析了Transformer模型的核心原理,重点拆解了Self-Attention机制如何实现序列的并行计算与长程依赖建模。文章系统梳理了从原始Transformer架构到以BERT为代表的双向预训练模型的演进之路,并介绍了RoBERTa、ALBERT等关键优化变体,帮助读者理解这一驱动现代NLP发展的核心引擎。 阅读详情

👉 这是一个或许对你有用的社群

🐱 一对一交流/面试小册/简历优化/求职解惑,欢迎加入「芋道快速开发平台」知识星球。下面是星球提供的部分资料: 

93746a40231e6cfaf26655702518a278.gif

👉这是一个或许对你有用的开源项目

国产 Star 破 10w+ 的开源项目,前端包括管理后台 + 微信小程序,后端支持单体和微服务架构。

功能涵盖 RBAC 权限、SaaS 多租户、数据权限、商城、支付、工作流、大屏报表、微信公众号、CRM 等等功能:

  • Boot 仓库:https://gitee.com/zhijiantianya/ruoyi-vue-pro

  • Cloud 仓库:https://gitee.com/zhijiantianya/yudao-cloud

  • 视频教程:https://doc.iocoder.cn

【国内首批】支持 JDK 21 + SpringBoot 3.2.2、JDK 8 + Spring Boot 2.7.18 双版本 

来源:AI大模型实验室


近年来,Transformer 技术在自然语言处理(NLP)领域引起了巨大关注。Transformer 是一种利用注意力机制(Attention)极大提升深度学习 NLP 翻译模型性能的新型架构。 它首次出现在《Attention is all you need》这篇论文中,迅速成为了文本数据处理的主流架构。

自此以后,谷歌的 BERT 和 OpenAI 的 GPT 系列等众多项目,都基于这一架构构建,表现远超现有的最先进技术。

在接下来的系列文章中,我将深入浅出地讲解 Transformer 的基本原理、架构设计及其内部运作机制。我们会逐步揭示 Transformer 的核心功能。在后续的文章里,我们还将深入剖析系统的运行细节,特别是多头注意力(multi-head attention)机制 ——Transformer 的关键所在。

本文是这个系列文章的第一篇,主要介绍 Transformer 的使用方法,为何优于 RNN,同时介绍了其架构组成以及在训练和推理期间的行为特点。

什么是 Transformer?

Transformer 架构特别擅长处理顺序性强的文本数据。简单来说,它可以将一段文本作为输入,并输出另一段文本,比如将英语句子翻译成西班牙语。

a0bef022d4b64fbda41e91d58f793ea6.jpeg

Transformer 的核心由多个编码层(Encoder)和解码层(Decoder)构成。这里,我们将单个层称为编码器或解码器,而一组这样的层则称为编码器组或解码器组。

编码器组和解码器组各有其对应的嵌入层(Embedding layers),处理各自的输入数据。最终,通过一个输出层生成最后的结果。

106ef8da7ac69e784e17b39545c89f22.jpeg

所有的编码器结构相同,解码器也是如此。

2899255835efacbfd561335e3a891482.jpeg

编码器包含一个关键的自注意力层,用来计算文本序列中不同单词间的联系,还有一个前馈层。而解码器则包括自注意力层、前馈层以及额外的编码器 - 解码器注意力层。每个编码器和解码器都有自己的权重集合。

编码器是可复用的模块,是定义 Transformer 架构的核心部分。除了上述两层,它还包括围绕这些层的残差跳跃连接和两个 LayerNorm 层。

82ef0c042581d8cd451129e23fdf3a0e.jpeg

Transformer 有许多不同的变体,其中一些变体甚至没有解码器,完全依赖编码器来工作。

基于 Spring Boot + MyBatis Plus + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/ruoyi-vue-pro

  • 视频教程:https://doc.iocoder.cn/video/

注意力机制的作用是什么?

Transformer 的强大性能源于其使用的注意力机制。

这种机制允许模型在处理某个单词时,同时关注输入中与该单词紧密相关的其他单词。

例如,单词 “Ball” 与 “blue” 和 “holding” 紧密相关,而与 “boy” 无关。

29ae942be5211938a65a09cef2fa3ba5.jpeg

Transformer 通过自注意力机制,将输入序列中的每个单词与其他所有单词联系起来。

举个例子:

  1. The cat drank the milk because it was hungry.

  2. The cat drank the milk because it was sweet.

在第一句中,“it” 指代的是 “cat”,而在第二句中,“it” 指的是 “milk”。当模型处理 “it” 这个词时,自注意力机制提供了更多关于它的含义信息,从而帮助模型准确地将 “it” 与相关联的单词对应起来。

46936fee77fd50c1824d5db406480eaf.jpeg

为了更细致地处理句子的意图和语义,Transformer 对每个单词赋予了多重注意力得分。

比如,在处理 “it” 时,第一个得分会突出 “cat”,第二个得分则突出 “hungry”。因此,当它把 “it” 翻译成另一种语言时,会把 “cat” 和 “hungry” 的某些元素融入到翻译中。

814b85161e92a4a316bf516499b3a9d8.jpeg

基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 实现的后台管理系统 + 用户小程序,支持 RBAC 动态权限、多租户、数据权限、工作流、三方登录、支付、短信、商城等功能

  • 项目地址:https://github.com/YunaiV/yudao-cloud

  • 视频教程:https://doc.iocoder.cn/video/

训练 Transformer

在训练和推理阶段,Transformer 的运作略有不同。

首先看训练阶段的数据流程。训练数据分为两部分:

  • 源序列或输入序列(如翻译问题中的英文 “You are welcome”)

  • 目标序列或目标序列(如西班牙语的 “De nada”)

Transformer 的目标是学习如何根据输入序列和目标序列来生成目标序列。

6bd09b727f19643c040d22401a347a0e.jpeg

Transformer 的处理过程如下:

  1. 将输入序列转换成嵌入式表示(含位置编码)并送入编码器。

  2. 编码器组处理这些数据,生成输入序列的编码表示。

  3. 将目标序列加上句首标记,转换成嵌入式表示(含位置编码)并送入解码器。

  4. 解码器组在处理这些数据的同时,结合编码器组生成的编码表示来生成目标序列的编码表示。

  5. 输出层将其转换成单词概率和最终的输出序列。

  6. Transformer 的损失函数将这个输出序列与训练数据中的目标序列进行比较,这个损失用于在反向传播过程中训练 Transformer。

推理

在推理阶段,我们只有输入序列,而没有目标序列作为解码器的输入。Transformer 的目标是仅从输入序列生成目标序列。

因此,就像在序列到序列(Seq2Seq)模型中一样,我们在一个循环中生成输出,并把每个时间步的输出序列整体输入到下一个时间步的解码器中,直至出现句子结束标记。

与 Seq2Seq 模型的不同之处在于,我们每次不是只输入上一步的单词,而是重新输入到目前为止生成的整个序列。

c620dace1a67d6893b742eaad3239280.jpeg

在推理过程中,数据流动如下:

1、将输入序列转换成嵌入式表示(含位置编码)并送入编码器。

2、编码器组处理这些数据,生成输入序列的编码表示。

3、此时不使用目标序列,而是用一个只含有句首标记的空序列。将其转换成嵌入式表示(含位置编码)并送入解码器。

4、解码器组结合编码器组的编码表示处理这些数据,生成目标序列的编码表示。

5、输出层将其转换成单词概率,并生成输出序列。

6、我们选取输出序列的最后一个单词作为预测词。然后,将这个单词填入解码器输入序列的第二个位置,这个序列现包含一个句首标记和第一个单词。

7、返回步骤 3,重复以上操作,每次将新生成的单词添加到解码器序列中,直至预测出句子结束标记。值得注意的是,由于每次迭代编码器序列不变,我们无需重复前两步(感谢 Michal Kučírka 的指出)。

教师强制法

在训练过程中,将目标序列输入解码器的方法称为教师强制法。那么,为什么要采用这种方法,这个术语是什么意思呢?

在训练期间,虽然我们可以采用与推理时相同的方法 —— 即循环运行 Transformer,逐步生成并处理输出序列的每一个单词,但这样做会让训练过程变得更长,且难度增加。因为模型需要根据之前可能预测错误的单词来预测接下来的单词。

相反,通过将目标序列直接输入到解码器,我们实际上是在给模型提供一个线索,就像教师指导学生那样。即便模型在开始时预测错误,它也可以依据正确的目标单词来调整接下来的预测,从而避免错误的累积。

此外,Transformer 可以同时并行地输出所有单词,而无需通过循环逐个处理,这大大加快了训练速度。

Transformer 有哪些应用?

Transformer 在自然语言处理(NLP)领域中应用广泛,涵盖了语言模型、文本分类等多种任务。它们常用于机器翻译、文本摘要、问答、命名实体识别和语音识别等序列到序列模型的应用场景。

针对不同问题,Transformer 有多种变体。基本的编码器层作为这些架构的共同基石,根据不同应用需求,配备有特定的 “头部” 模块。

Transformer 分类架构

例如,在情感分析的应用中,Transformer 接收文本文件作为输入。其分类 “头部” 模块处理 Transformer 的输出,进而预测类别标签,如判断文本表达的是积极还是消极情感。

a70408c22287146caf8424758a777924.jpeg

Transformer 语言模型架构

语言模型架构采用输入序列的起始部分,例如一段文本,作为输入,通过预测接下来的句子来生成新文本。语言模型的头部模块接收 Transformer 的输出,并为词汇表中的每个单词计算一个概率。概率最高的单词被选为下一单词的预测输出。

4ade9b29dbfc9cb5327b5513d23761c7.jpeg

为什么优于 RNN?

在 Transformer 问世并取代它们之前,RNN 及其衍生版本 LSTM 和 GRU 一直是自然语言处理应用的标准架构。

基于 RNN 的序列到序列模型表现不错,注意力机制最初被引入时,就是为了增强它们的性能。

但是,它们存在两个主要限制:

  • 难以处理长句中相隔较远的单词之间的长距离依赖性。

  • 它们逐字处理输入序列,无法在完成前一个时间步的计算之前进行下一个时间步的计算。这使得训练和推理速度变慢。

另一方面,尽管 CNN 的所有输出都可以并行计算,从而使得卷积运算速度更快,但它们在处理长距离依赖性方面也存在限制:

  • 在卷积层中,只有在内核大小范围内的图像部分(或应用于文本数据时的单词)可以相互作用。对于更远的元素,需要通过多层深度网络才能相互影响。

Transformer 架构解决了这些问题。它完全放弃了 RNN,完全依赖于注意力机制的优势。

  • 它们能够并行处理序列中的所有单词,从而极大地提高了计算速度。

    361532631f8b16a806576c239caad06f.jpeg
  • 输入序列中单词之间的距离不再重要。无论是相邻单词还是相隔较远的单词,Transformer 都能很好地计算它们之间的依赖性。

现在我们已经对 Transformer 有了一个总体的了解,下一篇文章将深入探讨它的内部功能,了解它的工作细节。

原文:https://towardsdatascience.com/transformers-explained-visually-part-1-overview-of-functionality-95a6dd460452


欢迎加入我的知识星球,全面提升技术能力。

👉 加入方式,“长按”或“扫描”下方二维码噢:

b984161d3dc7a28b503aae72c4522512.png

星球的内容包括:项目实战、面试招聘、源码解析、学习路线。

0b55b8c8ebb9082662873000a8a7e13e.png

7af63d8fefe0aac7e02264bc58fb12a4.png2cd660cd2fe6ada4e9885e8595f08b5e.png29303cdaefb1b66ac22ee8589c99f6e3.png643d7206009ff6a02005d3c0a95040e0.png

文章有帮助的话,在看,转发吧。
谢谢支持哟 (*^__^*)
图解 Transformer 在这个句子中,“it”指的是“动物”还是“街道”?对于人类来说,这个问题不难解答,但对于算法来说,却需要特殊的机制来处理。当 Transformer 处理到单词“it”时,自注意力机制帮助模型将“it”与“animal”关联起来。当模型处理句子中的每个词(即每个位置)时,自注意力机制允许模型查看输入序列中的其他位置,以寻找有助于生成更好表示的信息。如果你熟悉 RNN,可以将其与 RNN 维护的隐藏状态进行类比。 阅读详情

相关推荐

图解Transformer模型(Multi-Head Attention)

本文内容主要源于Attention is all you need:https://arxiv.org/abs/1706.03762 由于本人最近在研究文本的判别式模型,如文本分类任务,所以学习了Transformer,并根据自己的理解制作了PPT介绍总结Transformer中几个比较重要的部分. 文章内容为本人制作的PPT,同时在需要解释的slide写上了补充说明; 主要内容包括 1...

black_shuang的博客 1万+

如何学习Transformer架构

本文将探讨Transformer论文《AttentionisAllYouNeed》与HuggingFaceTransformers库之间的关系,并详细介绍如何利用HuggingFaceTransformers的代码深入学习Transformer架构。

fydw_715的博客 1493

图解transformer和相应代码及参数设定

图解transformer会更加直观一些,比代码直观,其中的参数也能够更加直观的认识,加深印象,所以是一种比较好的方式来理解。下面这个图蕴含着丰富的信息,值得好好解读一下,其中每个模块和层及名称都是对应模型设定的一部分。这个图画得很精确,简洁,也很经典,信息量也大。后面的参数和代码实现,都和图中内容一一对应,可以说,这个图是打开transformer的一把钥匙。

xw555666的博客 1629

国内主流大模型架构全景:Transformer 一统天下,非 Transformer 架构悄然崛起

国内大模型主要采用Transformer架构,但其高计算复杂度和内存占用问题催生了非Transformer路线的探索。岩芯数智的Yan架构通过MCSD和类脑激活机制实现高效训练和推理,性能优于同等参数Transformer模型,并已成功应用于机器人、医疗等领域。中科院的"瞬悉1.0"采用类脑脉冲神经网络,数据效率极高且适配国产算力。国际上的Mamba、RWKV等架构也为国内研究提供了参考。未来,Transformer仍将主导,但非Transformer路线在端侧、垂直领域和混合架构中将快

心有猛虎细嗅蔷薇 1562

【万字图解】超级详细Transformer、self-attention教程、encoder、decoder、训练、推理、embedding

详细介绍了transformer的方方面面的细节,通过详细的图解让大家更直观的理解transformer

AIcar_lrm的博客 5238

Transformer详解,中文版架构图

2.2.1 “编码器-解码器”架构Seq2Seq 思想就是将网络的输入输出分别看作不同的序列,然后实现序列到序列的映射,其经典实现结构就是“编码器-解码器”框架。编码器-解码器框架如图 2.7 所示。图2.7 编码器-解码器的基本框架在 Seq2Seq 思想应用于自然语言处理之初,编码器解码器主要使用的是 RNN 及其变体。针对输入,编码器会先遍历输入序列,根据循环神经网络的特性,每一层的输入都包含了当前层的输入和前一层的隐藏状态,而。

具身机器人和通用AI 3万+

一文搞懂!Transformer架构的三大变体

Transformer架构自2017年诞生以来,彻底改变了自然语言处理(NLP)领域。其独特的架构设计衍生出了三大类模型:仅编码器架构、仅解码器架构和编码器-解码器架构。每种架构都有其独特的优势和应用场景,本文将详细解析这三大类架构的特点,并介绍每类架构中的经典模型,带你深入了解Transformer架构的强大之处。Transformer模型自2017年提出以来,已经成为自然语言处理(NLP)领域的核心技术之一。

xiaoganbuaiuk的博客 1915

ZynqMP双核通信避坑指南:Linux驱动+裸机固件协同开发实录

本文详细解析了Xilinx ZynqMP芯片中APU与RPU双核通信的技术实现,重点介绍了通过IPI中断实现Linux驱动与裸机固件协同开发的实战经验。内容涵盖硬件寄存器配置、Linux驱动开发、RPU裸机程序编写以及双核调试技巧,为开发者提供了一套完整的工程化解决方案,帮助规避常见开发陷阱。

weixin_29168153的博客 128

简单通俗地理解Transformer

作者:鱼先生链接:https://www.zhihu.com/question/445556653/answer/2882383919来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。写在前边:学习 Transformer 的过程中,找到了博客中关于Transformer系统的介绍文章,感觉非常棒,于是进行了翻译。原文链接在文末。翻译主要采用 “DeepL+人工”的方式进行,并加入了一些自己的理解。

hellozhxy的博客 679

SAP S/4HANA 物料分类账(ML)/实际成本核算(Actual Costing)——底表全景 & CKMLCP 执行后数据变化

插入 ML 重估凭证行项目:Dr/Cr 库存科目(期末库存调整)、Dr/Cr COGS/消耗科目(消耗重估)、Cr/Dr ML 重估抵消科目(PRY/PRV 类逻辑)also STPRS/VERPR/PEINH/LBKUM 等(但 S/4 很多“真理”在 ACDOCA)MLPP / MLPPF / MLCR / MLCRF / MLCD / CKMLMV003/004 等。Material Ledger Document(行项目明细:收货/发票价差/结算写入/重估相关)间接(PUP在CKMLCR;

weixin_52203666的博客 588

Vivado SDK中LWIP库版本冲突与RTL8211FDI兼容性实战解析

本文深入解析Vivado 2019.1 SDK中LWIP 1.0库与RTL8211FDI千兆PHY芯片的版本冲突问题,并提供实战解决方案。通过手动移植高版本LWIP库、整合第三方驱动及优化BSP配置,有效解决了以太网通信兼容性问题,确保千兆性能稳定运行。

ios99的博客 277

图解Transformer | The Illustrated Transformer

写在最前边 看transformer相关文章的时候发现很多人用了相同的图。直到我搜到作者的原文……于是决定翻译一下无删改的原文。 翻译讲究:信、达、雅。要在保障意思准确的情况下传递作者的意图,并且尽量让文本优美。但是大家对我一个理工科少女的语言要求不要太高,本文只能保证在尽量通顺的情况下还原原文。 作者博客:@Jay Alammar 原文链接:The Illustrated Transformer 原文翻译 在之前的文章中,我们讲了现代神经网络常用的一种方法——Attention机制。 本文章我们来介绍

我是菜鸡 5万+

香橙派5使用RK3588S内置NPU加速yolov5推理,实时识别数字达到50fps

香橙派5采用了RK3588S,内置的NPU达到了6Tops的算力,博主这里记录一下自己的踩坑过程,好不容易做出来的不能以后忘记了(手动狗头)。这里博主还在B站上发布了效果视频,大家感兴趣的话可以看一下。其中解决了先验框标注位置不对,或者出现非常多的框的问题

weixin_51651698的博客 2万+

Transformer图解

要知道具体的指代,我们需要在理解it的时候同时关注所有的单词,重点是animal、street和tired,然后根据知识(常识)我们知道只有animal才能tired,而street是不能tired的。对于输入的每一个向量(第一层是词的Embedding,其它层是前一层的输出),我们首先需要生成3个新的向量Q、K和V,分别代表查询(Query)向量、Key向量和Value向量。首先把模型看成一个黑盒,如下图所示,对于机器翻译来说,它的输入是源语言(法语)的句子,输出是目标语言(英语)的句子。

weixin_68094467的博客 902

在Windows11下安装完Ubuntu20.04双系统后配置环境的过程

在Windows11下安装完Ubuntu20.04双系统后配置环境的过程 1.NVIDIA驱动检测及安装 2.Anaconda的安装 3.安装cuda、cudnn、pytorch 4.其他报错

aaaccc444的博客 2426

使用基于python的neurora进行表征相似性分析(RSA)

发现了一款用于表征分析的Python API,还是挺方便的,这里简单介绍一下进行表征相似性分析的使用方法。

zjh12312311的博客 2767

图解 Transformer(超详细完整版)

图解 Transformer,高层视角我们首先从将模型看作一个整体的黑箱开始。在机器翻译的应用中,Transformer 接受一种语言的句子作为输入,并输出翻译后的另一种语言的句子。

qkh1234567的博客 9067

SIWAVE+ADS提取PCB走线寄生参数

本文将介绍一种很适合PCB走线提取寄生电感等参数的方法,即是通过SIWAVE将PCB走线的S参数提取出来,再通过ADS将S参数转换成电感、电容值。

sinat_15150363的博客 1766

图解Transformer

继续将Encoder和Decoder拆开,可以看到完整的结构,如下图所示:上图Decoder接收了Encoder的编码矩阵,然后首先输入一个开始符 "<Begin>",预测第一个单词,输出为"I";然后输入翻译开始符 "<Begin>" 和单词 "I",预测第二个单词,输出为"am",以此类推。这是Transformer的大致流程,接下来介绍里面各个部分的细节。上图是Transformer的内部结构,其中红色方框内为,是由多个组成,具体结构如下图:多头注意力LayerNorm。

tiger00O的博客 433

【2025软考高级架构师】基础知识部分——6、软件架构设计

(1)架构是对系统的抽象(2)架构由多个结构组成(3)任何软件都存在架构(4)元素及其行为的集合构成架构的内容(5)架构具有“基础”性(6)架构隐含有“决策”

qq837993702的博客 1万+

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

图解transformer

图解transformer

lw19155275856的博客 1236

NTscan扫描工具

ntscan是一个扫描器,可以扫描没有密码和弱密码的共享,先到配置文件中填写猜测的用户名和密码,扫描过程中右侧出现的是扫描日志。

Transformer完全图解

在学习Transformer之前,你需要学习一下Seq2Seq Attention的内容,可以参考: 几张图彻底搞定Seq2Seq Seq2Seq Attention(这三篇就够了,精心发掘整理) Seq2Seq Attention输入输出维度分析(最全面细致) 好了,那下面进入正文 Transformer在2017年Google的一篇论文“Attention Is All You Need”被提...

weixin_44305115的博客 8676

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

大中型超市收银系统(可直接运行)

光步前台收银系统系统功能:商品销售、商品退货、挂单、收银员权限、会员销售、单品取消、整单取消、商品查询、脱机销售、脱机数据上传,基本资料下载,开钱箱、小票打印、收款结算,支持多币种付款方式(现金、储值卡、礼券、微信等),支持多种促销。运行环境:.net 4.0登陆信息用户名:1001 密码:123456内置商品信息,商品编码可输入00001000 - 00010000,测试效果相关功能键F5 结算 F9挂单 F11商品查询 F8退货 Insert单品取消 Del整单取消 F12开钱箱F2 会员 Ctrl+Z退出系统 Home 锁屏 相关源码待公开

图解Transformer-一篇文章看懂transformer

原文标题:The Illustrated Transformer 原文链接:https://jalammar.github.io/illustrated-transformer/ 论文地址:https://arxiv.org/abs/1706.03762 前言 &nbsp...

古月哲亭 5334
上一篇: 为什么 MyBatis 源码中,没有我那种 if···else
下一篇: IDEA Debug 高阶技巧,老手都是这么玩的~~
公众号-芋道源码
博客等级 码龄10年 1639粉丝 377原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值