Transformer是什么？如何理解Transformer？

已于 2024-10-24 11:08:29 修改
阅读量2.4k 收藏 29
点赞数 6
文章标签： transformer 深度学习 人工智能 1024程序员节
于 2024-07-24 20:58:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/Time_Memory_cici/article/details/140617799
版权

一、Transformer是什么

Transformer是一种深度学习模型架构，最初由Google的研究团队在2017年提出。这种架构最早用于自然语言处理（NLP），但后来也在其他领域表现出色。Transformer的关键特点是其自注意力机制（Self-Attention Mechanism），它允许模型在处理数据时考虑输入序列的不同部分之间的关系。

简单点可以认为：Transformer = self-attention+encoder+decoder
例如GPT就用到了Transformer，GPT全称Generative Pre-trained Transformer。
Generative：即用来生成新文本的机器人
Pre-trained：“预训练”指的是模型经历了从大量数据中学习的过程
“预”字则暗示 模型能针对具体任务 通过额外训练来进行微调
Transformer：是一种特殊的神经网络，一种机器学习模型，它是当今AI热潮的核心发明。

二、Transformer特点

自注意力机制：Transformer通过自注意力机制来捕捉输入序列中各个位置之间的依赖关系，而不依赖于序列的顺序。这样做使得模型能够并行处理数据，提高了训练效率。
编码器-解码器结构：标准的Transformer模型包含两个主要部分：编码器和解码器。编码器负责处理输入数据，解码器生成输出数据。编码器和解码器由多个层堆叠而成。
位置编码：由于Transformer模型本身不考虑序列的顺序，因此需要引入位置编码来为模型提供序列中元素的位置信息。

三、Transformer应用领域

自然语言处理（NLP）：Transformer在NLP任务中表现非常出色，如机器翻译（例如BERT、GPT系列）、文本生成、文本分类、情感分析等。
计算机视觉：Transformer模型也被应用于图像处理任务，例如图像分类和目标检测（例如Vision Transformer，ViT）。
时间序列分析：Transformer可以用于处理时间序列数据，如金融预测和气象预测等。
语音处理：用于语音识别和语音生成等任务。

四、理解Transformer

Transformer 首次出现于2017年的的一篇著名论文《Attention Is All You Need》，截止至2024年7月24日晚10点，被引12w+

在这里插入图片描述

论文最初将Transformer架构用于机器翻译。

在这里插入图片描述
Transformer将注意力模块和多层感知模块层层堆叠

许多视频或论文里会看到Feed Forward Network层，其实Feed Forward Network 就是一个MLP，多层感知机
在这里插入图片描述
在这里插入图片描述

当然，Transformer有多种应用场景，如语音转文本
在这里插入图片描述
文本转语音
在这里插入图片描述
文本转图像等等
在这里插入图片描述

然而，GPT就是做预测的，给出一个开头，不断重复预测下一个出现的单词，例如：
在这里插入图片描述
我特别喜欢的一种功能是能看到它在选取每个新词时，背后的概率分布。

机器学习都是数据驱动的，就是学习参数，拟合我们希望的结果，GPT-3的参数多达1750亿个。

在这里插入图片描述

五、从公式原理出发，理解self-attention

李弘毅老师的课程讲的很好很好，建议大家看一下。
视频网址：https://www.bilibili.com/video/BV1J441137V6/?spm_id_from=333.337.search-card.all.click&vd_source=ea5c910bfe0c11f0edf9f3a8da1dd52a
1、输入x1、x2、x3、x4先通过变换，转换为a1、a2、a3、a4形式的embedding vector。
2、然后求q、k、v，方法是a1乘以对应的矩阵
3、求scaled dot-product attention，如下图公式，q和每个k点乘，也就是做内积，然后除以根号d，其中d是q和k的维度。因为q和k能做内积，所以他俩的维度肯定是一样的，都为d。这里除以根号d的目的是，防止q和k的维度太大，导致所求的数值过大。
在这里插入图片描述
4、然后做soft-max处理。
在这里插入图片描述
5、利用v向量，求取b1，可以看到下面两张ppt，b1和b2可以并行计算。
在这里插入图片描述
在这里插入图片描述

6、总之一句话，self-attention的作用是，输入一组i向量x1、x2、x3、x4，可以并行计算出另外一组向量b1、b2、b3、b4
在这里插入图片描述
在这里插入图片描述

六、小Tip

Transformer不需要复杂的RNN结构，完全基于自注意力机制。
在这里插入图片描述
知识来源于KnowingAI知智：https://www.bilibili.com/video/BV1Zz4y127h1/?spm_id_from=333.337.search-card.all.click&vd_source=ea5c910bfe0c11f0edf9f3a8da1dd52a
神奇的3Blue1Brown：https://www.bilibili.com/video/BV13z421U7cs/?spm_id_from=333.337.search-card.all.click&vd_source=ea5c910bfe0c11f0edf9f3a8da1dd52a

什么是 Transformer
aliceyangxi1987的博客
09-22 1151
**Transformer** 是由 Google 团队的 Ashish Vaswani 等人在 2017 年 6 月发表的论文 Attention Is All You Need 中提出的 NLP 经典之作，这个模型可以算是近几年来 NLP 领域的一个重大的里程碑，在它之前 seq2seq + Attention 就表现很强了，结果这篇论文一出来就引起了不小的轰动，它竟然不需要任何 RNN 等...
人工智能---什么是Transformer?
智能汽车人的博客
04-27 3246
Transformer是一种强大的神经网络架构，最初由Google的研究人员在论文《Attention is All You Need》中提出，用于自然语言处理任务，特别是在机器翻译方面取得了巨大成功。Transformer的核心思想是完全基于自注意力机制(self-attention mechanism)来实现序列到序列(sequence-to-sequence)的学习。它在自然语言处理（NLP）和其他序列到序列任务中表现出色，逐渐成为该领域的主流模型。近些年也逐渐在自动驾驶领域有所应用。
【超详细】【原理篇&实战篇】一文读懂Transformer
热门推荐
艰难困苦，玉汝于成。
11-02 50万+
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
Transformer是什么？一文读懂Transformer的模型架构和底层原理
最新发布
大模型研究中心
04-17 2409
‌Transformer‌是一种用于自然语言处理(NLP)和深度学习的神经网络架构，最早由Google研究团队在2017年提出‌。它的核心思想是利用自注意力机制来捕捉序列中元素之间的关系，从而避免了传统RNN难以处理长序列依赖的问题‌。
Transformer理解
在努力的松鼠的博客
05-25 1639
Attention注意力机制： Attention起源于NLP中的seq2seq模型，通常是RNN结构，对于这种结构，每一层传给下一层的向量长度是固定的，所以，当句子很长时，很难表达全部的信息，一开始的信息在后面就会容易丢掉。例如一个句子，“我喜欢吃苹果因为。。。（省略N个字）”，作为RNN的输入，希望输出回答“谁喜欢吃苹果”，当输入全部处理后，这时模型就可能已经丢掉了“我”这个信息了。 这时，Attention机制的出现就很及时了，它会让我们选择性的关注一些区域，这样有限的向量常度，能让我们传递更值得
如何最简单、通俗地理解Transformer？
2401_85379281的博客
09-07 1316
如何最简单、通俗地理解Transformer？ 闲话少说，就问一件事情，大家在搞科研的时候有没有遇到这种情况，就是当前输入维度为N训练一个网络，但后期N的大小可能就变了，这时候普通的MLP或者CNN都会傻眼，但Transformer可以非常完美地解决这个问题，并且效果极佳。
Transformer 是什么？
lovejava20100324的博客
02-10 640
Transformer通过自注意力机制实现了对序列数据的全局建模，成为现代AI模型的“基础设施”。它不仅推动了自然语言处理的突破，也正在重塑计算机视觉、语音、生物计算等多个领域。理解Transformer是掌握当今大模型技术的关键起点。
Transformer是什么？看完这篇你就醍醐灌顶
fs1341825137的博客
09-15 6万+
前言 由谷歌团队提出的预训练语言模型BERT近年来正在各大自然语言处理任务中屠榜（话说学者们也挺有意思的，模型名都强行凑个芝麻街的人物名，哈哈哈）。 BERT算法的最重要的部分便是Transformer的概念，它本质上是Transformer的编码器部分。 而Transformer是什么呢？transformer是永远的神，自从transformer使用了抛弃rnncnn的纯attention机制之后，各种基于transformer结构的预训练模型都如雨后春笋般雄起，而transformer中最重要就是使用
Transformer哪家强？Google爸爸辨优良！.rar
10-18
通过对Transformer的深入理解和优化，我们可以构建出更加智能和高效的语言处理系统，推动AI技术向前发展。无论是学术研究还是工业实践，Transformer都是一个不可或缺的知识点，值得我们持续关注和探索。
还有哪些其他的基于transformer架构模型？
zc621_的博客
09-20 1079
*自回归生成（Autoregressive Generation）**是一种文本生成方法，模型通过逐步预测下一个词语来生成完整的句子或段落。每一步生成的词语都会作为上下文的一部分，用于预测下一个词。特点：逐步生成：模型一次生成一个词，基于之前生成的词预测下一个词。上下文依赖：每个生成的词依赖于之前生成的所有词，因此模型需要记住整个生成过程的上下文。适用于生成任务：如文章写作、对话生成、代码编写等。假设我们要让模型生成一句话，“我喜欢吃苹果。输入：开始生成，“我喜欢吃”模型生成下一个词：苹果。
transformer理解
yishujixiaoxiao的博客
03-07 390
原论文：https://jalammar.github.io/illustrated-transformer/ 中文翻译：https://blog.youkuaiyun.com/qq_41664845/article/details/84969266
什么是Transformer
薇酱的博客
10-25 2173
目录 ​ Encoder： Decoder： Decoder-Autoregressive multi-head attention VSmasked multi-head attention Decoder-Non-Autoregressive Encoder和Decoder联合工作 Training： 训练技巧 优化评估指标 推荐阅读： 整体结构 Transformer是一个Sequence to Sequence的模型，主要的结构是encoder和decoder...
transformer是什么
weixin_42577243的博客
01-06 480
Transformer是一种深度学习模型，它可以在不使用卷积层或循环层的情况下进行序列到序列的转换。Transformer由输入编码器和输出解码器组成，这些编码器和解码器之间由若干个自注意力层连接。这些层使用注意力机制来计算输入和输出之间的关系，从而允许Transformer模型并行地处理序列。Transformer已被广泛用于自然语言处理任务，例如机器翻译和文本分类。 ...
Transformer深入理解（持续更新）
Ds的博客
03-03 6027
Transformer深入理解（持续更新） 编码器：原文是6个编码器堆叠（数字6没有什么神奇之处，你也可以尝试其他数字） 解码组件部分也是由相同数量（与编码器对应）的解码器（decoder）组成的。 所有的编码器在结构上都是相同的，但它们没有共享参数。每个编、解码器都可以分解成两个子层：自注意力层和前馈神经网络， 我们首先将每个输入单词通过词嵌入算法转换为词向量，每个单词都被嵌入为512维的向量 将输入序列进行词嵌入之后，每个单词都会流经编码器中的两个子层。 接下来我们看看Transformer的一个核心特
transformer的理解
qq_35653657的博客
07-26 1480
这是我对transformer浅陋的理解
Transformer通俗理解
03-16
### Transformer模型的基本原理 Transformer 是一种基于自注意力机制（Self-Attention Mechanism）的神经网络架构，其设计目的是高效处理序列数据，如自然语言文本。以下是关于 Transformer 工作原理的核心概念及其直观解释： #### 数据预处理阶段 在翻译任务中，原始输入是一个英文句子：“Apple company designed a great smartphone.” 首先会经过 **Tokenization** 和 **Embedding** 处理[^1]。具体来说： - 句子被分割成一系列标记（Tokens），例如 ["Apple", "company", "designed", ...]。 - 每个标记会被映射到一个高维向量空间中的嵌入表示（Embedding Vector）。这些嵌入向量捕捉了单词的意义以及上下文信息。 #### 自注意力机制的作用 Transformer 的核心在于引入了一种称为 **自注意力机制** 的技术[^2]。该机制使得模型可以动态调整对不同位置的关注程度，从而更好地理解整个序列的信息。通过计算查询（Query）、键（Key）和值（Value）三者之间的相似度得分，模型能够评估当前词与其他词语的相关性，并据此加权组合它们的特征表示。 #### 编码器与解码器结构 Transformer 架构由两大部分组成——编码器（Encoder）和解码器（Decoder）： - **编码器** 负责接收源语言句子并将其转换为连续的语义表征； - **解码器** 则依据目标语言的历史生成情况逐步预测下一个可能的目标词汇。 两者之间存在多层堆叠的设计模式，在每一层内部均包含了多个平行操作单元来增强表达能力。 ```python import torch.nn as nn class MultiHeadedAttention(nn.Module): def __init__(self, h, d_model, dropout=0.1): super().__init__() assert d_model % h == 0 self.d_k = d_model // h self.h = h self.linears = clones(nn.Linear(d_model, d_model), 4) self.attn = None self.dropout = nn.Dropout(p=dropout) def forward(self, query, key, value, mask=None): ... ``` 上述代码片段展示了如何实现一个多头注意组件的部分逻辑流程。 --- ### 直观解释 假设我们要把一句话从英语翻成法语，“Apple company designed...”。当传统RNN类方法逐字读取时可能会丢失远距离依赖关系；而借助于transformer里的attention score矩阵，则可以让每一个时刻都看到全局范围内的其他所有token的重要性权重分布图谱，进而做出更优决策。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值