transformer理解

已于 2023-07-25 16:30:56 修改
阅读量724 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 自动驾驶 深度学习理论 文章标签： transformer 深度学习 人工智能
于 2023-07-25 16:19:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/yang_daxia/article/details/131918993
本文深入探讨Transformer模型，重点解释了Q、K、V在自注意力机制中的作用，以及为何需要位置编码。通过多头自注意力和Encoder-Decoder结构的分析，展示了Transformer的工作原理。同时，提到了位置编码的不同方案，如三角函数方式，以弥补模型中丢失的位置信息。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

transformer的理解

Q、K、V的理解

核心是自注意力机制。即每个位置的结果为所有位置的加权平均和。为了得到每个位置的权重，需要Q*K得到。
在这里插入图片描述

整个多头的self-attention过程

在这里插入图片描述

单个encoder

在这里插入图片描述

encoder-decoder

encoder中的K和V会传到decoder中的encoder-decoder attention中。
在这里插入图片描述

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Swin Transformer 的理解
G果的博客
10-10 328
对比学习Contrastive Learning
热门推荐
yang_daxia的博客
12-21 2万+
对比学习是一种常用的自监督学习方法。 核心思想：把正样本距离拉近，正样本与负样本距离拉远。（类似度量学习中的margin, 但是对比学习为正负样本分类，无margin概念） 方式：通过一个正样本，以及k个负样本进行对比学习，研究表明K越大越好，可以取几万个。 优化问题：对于一个正样本，需要和k个负样本做分类，使模型分清楚哪些是正样本，哪些是负样本，用交叉熵即可。如下图 经典方法： memory bank:把所有样本的logits存起来，计算loss MoCo：用一个qu...
Transformer理解
陶将的博客
10-17 1729
Transformer 是一种著名的深度学习模型，现已经被广泛应用于自然语言处理、计算机视觉和语音处理等等各个领域。Transformer最初是作为机器翻译的序列到序列模型提出的。后来的工作表明，基于Transformer的预训练模型可以在各种任务上实现最优性能。因此，Transformer已经成为NLP中的主流架构。最近，使用Transformer来完成视觉任务成为一个新的研究方向，ViT（Vision Transformer）使用Transformer进行图像分类，DERT使用Transformer进行
Swin Transformer理解
新时代农民工---码农
04-13 7118
最近在阅读transformer，也作个笔记，供学习使用。希望阅读者有CNN的基础，如YOLO,MobileNets，ResNet等,并且一定要先阅读ViT。不然读起来可能比较吃力。当然笔记也尽可能解释清楚 1 核心参考 ① B站跟李沐学AI ② Swin Transformer论文精读【论文精读】 友情提示：看完笔记，还需要阅读原文，去看代码，才会有大的收获。 2 研究背景：ViT的缺点 1、显存占用–Token数量。Token是指模型运行中的最小处理单元。ViT中的Token指的是一个Patch，T
Vision-Transformer 理解
weixin_50030143的博客
05-30 888
ViT 论文笔记
transformer通俗理解
追光少年的博客
07-27 2万+
Transformer是一个利用注意力机制来提高模型训练速度的模型。trasnformer可以说是完全基于自注意力机制的一个深度学习模型，因为它适用于并行化计算，和它本身模型的复杂程度导致它在精度和性能上都要高于之前流行的RNN循环神经网络。那什么是transformer呢？你可以简单理解为它是一个黑盒子，当我们在做文本翻译任务是，我输入进去一个中文，经过这个黑盒子之后，输出来翻译过后的英文。那么在这个黑盒子里面都有什么呢？里面主要有两部分组成：Encoder 和 Decoder当我输入一个文本的时候，该文
Transformer 理解Tokenizer
weixin_42167712的博客
12-06 9134
文章目录1.tokenizer1.介绍1.1 Subword tokenization1.Byte-Pair Encoding (BPE)2.Byte-level BPE3.wordpiece4.Unigram5.SentencePiece 1.tokenizer 1.介绍 from transformers import AutoTokenizer, AutoModelForSequenceClassification model_name = "distilbert-base-uncased-finet
Transformer是什么？如何理解Transformer？
最新发布
Time_Memory_cici的博客
07-24 2713
Transformer的关键特点是其自注意力机制（Self-Attention Mechanism），它允许模型在处理数据时考虑输入序列的不同部分之间的关系。编码器和解码器由多个层堆叠而成。：Transformer模型也被应用于图像处理任务，例如图像分类和目标检测（例如Vision Transformer，ViT）。Transformer：是一种特殊的神经网络，一种机器学习模型，它是当今AI热潮的核心发明。机器学习都是数据驱动的，就是学习参数，拟合我们希望的结果，GPT-3的参数多达1750亿个。
Transformer简单理解
m0_53881899的博客
01-16 1171
Transformer简单理解
理解Transformer
Galen_xia的博客
03-03 981
Transformer is all your need！
Predictive Attention Transformer 理解
wuyuanli_r的博客
01-05 771
参考文献 Predictive Attention Transformer: Improving Transformer with Attention Map Prediction PA-transformer 的想法是将 QKT/NQK^T/\sqrt{N}QKT/N​ 做两种处理, 一是正常的 encode 到 下一个 encode 的 QKT/NQK^T/\sqrt{N}QKT/N​ , 另一个是使用 2D-卷积层, 两种处理的信息 以某种比例混合后用于 取值投影. 混合后的信息 也将有类似的两种处理
NLP中Transformer理解以及CV中Transformer（仅供自己学习用）
qq_41456654的博客
04-08 1276
更 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、NLP中Transformer二、模型介绍1.结构总结 前言 NLP中Transformer理解以及CV中Transformer。 阅读Transformer并看一些cv中的transformer应用 提示：以下是本篇文章正文内容，下面案例可供参考 一、NLP中Transformer 是什么 更准确地讲，Transformer由且仅由self-Attenion和Feed Forward Neural Netwo
CTCloss详解
yang_daxia的博客
05-27 7492
1.映射规则: 案例: 2. ctcloss 计算所有可以映射为输出路径的概率总和:枚举方法计算量太大, 所以采用DP: 一共三种情况: 1. PPT: https://docs.google.com/presentation/d/12gYcPft9_4cxk2AD6Z6ZlJNa3wvZCW1ms31nhq51vMk/pub?start=false&loop...
pytorch只加载预训练模型中的部分参数及冻结部分参数
yang_daxia的博客
08-26 7466
说明 比如我需要训练车牌检测模型, 采用retinanet, 结构为bacnbone-fpn-retinanethead. 准备在coco数据集上预训练. 但是coco数据集有81类, 车牌只有几类. 预训练完以后, retinanethead部分, 由于类数目尺寸不匹配, 所以希望只加载bacnbone以及fpn部分的参数. 保存的checkpoints本质上为一个字典, 所以只需要把head部...
Class-Balanced Loss Based on Effective Number of Samples解决类别不平衡loss
yang_daxia的博客
09-24 5001
github:https://github.com/vandit15/Class-balanced-loss-pytorch/blob/master/class_balanced_loss.py 本文用于解决样本类别不平衡问题, 尤其是数据是长尾分布的情况. 本文核心概念为, 有效采样数.En 那么某一类别有效采样数多, 起loss权重应该小, 即和En成反比, 所以类别权重只要乘以...
Upsample与ConvTranspose2d
yang_daxia的博客
02-11 4959
两者都是用来实现上采样，假设采样倍数为scale, 则把(H, W, C) -->变为（H*scale, W*scale，C） 下面以2倍上采样为例。 1.Upsample通过插值方法完成上采样。所以不需要训练参数。 nn.Upsample(scale_factor=2, mode='bilinear', align_corners=True) 其中mode为选择的插值方法。 2....
batchsize 和学习率对精度的影响
yang_daxia的博客
08-21 4674
大batchsize需要大的学习率, 学习率最后用step的方式 参考:https://mp.weixin.qq.com/s?__biz=MzIzNjc0MTMwMA==&mid=2247489038&idx=1&sn=0fe971f10fb87d7a032d9c9c7d34e5ce&chksm=e8d261d5dfa5e8c3746db1d9e33c954d82...
Transformer 理解
03-21
Transformer是一种用于自然语言处理的模型架构，它由编码组件和解码组件组成[^1]。Transformer的工作原理是通过注意力机制来处理输入序列和输出序列之间的关系[^2]。它在处理文本数据时具有很大的优势，并且在自然语言处理领域取得了重要的突破。 Transformer的编码组件主要负责将输入序列转换为一系列的隐藏表示，这些隐藏表示包含了输入序列的语义信息。编码组件由多个相同的层组成，每个层都包含了多头自注意力机制和前馈神经网络。自注意力机制能够捕捉输入序列中不同位置之间的依赖关系，而前馈神经网络则能够对每个位置的隐藏表示进行非线性变换。通过多个层的堆叠，编码组件能够逐渐提取输入序列的更高级别的语义信息。 解码组件则负责根据编码组件生成的隐藏表示来生成输出序列。解码组件也由多个相同的层组成，每个层包含了多头自注意力机制、多头编码-解码注意力机制和前馈神经网络。多头编码-解码注意力机制能够捕捉输入序列和输出序列之间的依赖关系，而前馈神经网络则能够对每个位置的隐藏表示进行非线性变换。通过多个层的堆叠，解码组件能够逐渐生成输出序列。 Transformer的注意力机制是其核心部分，它能够在不同位置之间建立关联，并且能够根据输入序列和输出序列的不同位置之间的关系来进行加权计算。这种注意力机制使得Transformer能够更好地处理长距离依赖关系，从而提高了模型的性能。 总结起来，Transformer是一种用于自然语言处理的模型架构，它通过注意力机制来处理输入序列和输出序列之间的关系。它在自然语言处理领域取得了重要的突破，并且被广泛应用于各种任务，如机器翻译、文本生成等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yang_daxia

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值