李宏毅老师Transformer课程笔记 [Attention is all your need]

最新推荐文章于 2024-01-28 12:26:16 发布
最新推荐文章于 2024-01-28 12:26:16 发布
阅读量411 收藏
点赞数
分类专栏： 目标检测 文章标签： 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40028858/article/details/115521188
版权
本文详细解析了Transformer模型的工作原理，包括self-attention机制、multi-head attention和encoder-decoder架构。通过对每个input进行embedding和self-attention计算，Transformer能够捕捉全局信息。在Transformer中，位置信息的处理和layer normalization也是关键组成部分。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Transformer

image-20210326164917278

会议：NIPS 2017

论文：https://arxiv.org/pdf/1706.03762.pdf

image-20210326171023220

input是 x 1 ～ x 4 x_1～x_4 x1​～x4​，经过embending之后得到 a 1 ～ a 4 a_1～a_4 a1​～a4​，输入到self-attention中。对于每一个input，都乘上三个不同的权值矩阵，得到三个不同的向量 q , k , v q,k,v q,k,v。

q q q：query (to match others) q i = W q a i q^i=W^qa^i qi=Wqai

最低0.47元/天 解锁文章
Transformer：论文《Attention is all you need》+李宏毅课程
Xiao_yanling的博客
07-02 686
Transformer Seq2seq model with Self-attention 在RNN中虽然用到了输入序列的全部信息，但是很难实现输入序列词的同时训练，在self-attention layer中，目标序列b1,b2,...,bib_1,b_2,...,b_ib1​,b2​,...,bi​中每一个都是基于全部输入序列而得到的，并且它们都是同时训练的。 Transformer结构： ...
李宏毅老师-transformer part1
weixin_46675905的博客
05-05 176
transformer Transformer是一个sequence to sequence（seq2seq）的模型 输入一个序列，输出一个序列。这两个序列的长度、关系是由模型自己确定的。 為什麼我们不直接先做一个语音辨识,再做一个机器翻译,把语音辨识系统跟机器翻译系统,接起来就直接是语音翻译？ 那是因为世界上有7000种语言，这7000种语言中超过半数是没有文字的。 对于这些语言，根本就没有办法做语音辨识。 但我们有没有可能对这些语言,做语音翻译,直接把它翻译成,我们有办法阅读的文字呢？ 一个很好的
最详细的Transformer讲解，Attention Is All You Need
低吟浅笑
11-13 4707
前言 Attention Is All You Need Google Brain 引用量：30255（1/3 ResNet） 贡献：Transformer 是第一个完全依赖自注意力来计算其输入和输出表示而不是使用序列对齐的RNN和CNN。 一直听别人说Transformer，搞不清楚是什么。可以不用，但是需要理解。 但现有的博客，感觉大多轻飘飘的，甚至没讲清楚 attention 和 self-attention的区别，q，k，v表示什么意义，怎么引入等等。 我这里做了一点小总结...
李宏毅【课件PPT】
12-07
此压缩包包含李宏毅老师的机器学习所有课件，都是在李宏毅老师个人主页下载整理的，建议配合B站李宏毅老师的Machine Learning 视频一块使用，里面的公式最好推导一下，效果更佳！
深度学习中Transformer的原理和方法（李宏毅视频课笔记）
双鸭山•克里菲斯•北方孤星之堕
08-10 2148
文章目录0 前言1 RNN to CNN2 Self-Attention2.1 Base Method2.2 Matrix Representation2.3 Multi-head Self-attention2.4 Positional Encoding3 Seq2Seq Based on Self-Attention3.1 Base Method3.2 Transformer4 Attention Visualization 0 前言 本节学习的是Transformer。Google于2017年6月发
李沐精读论文：transformer 《Attention Is All You Need》 by Google
iwill323的博客
12-17 2907
李沐读论文：transformer 《Attention Is All You Need》 by Google
李宏毅机器学习笔记——Transformer
m0_56659208的博客
04-09 5230
李宏毅机器学习笔记 本章主要是介绍了Transformer(全自注意力网络)： 1. 通过sequence-to-sequence模型中的RNN存在问题——不能并行计算，CNN替换可以解决一部分问题，但也存在缺陷。 2.由CNN缺陷引入了Self-Attention Layer来替代RNN的sequence-to-sequence模型——Transformer。 3.讲解Self-Attention的基本原理与具体过程。 4.讲解了一种叫做“多头”注意力（“multi-headed” attention）的
李宏毅2019年新增课程 week 15 transformer 课程笔记
weixin_41112167的博客
09-23 1469
李宏毅2019年新增课程 week 15 transformer 课程笔记RNN和CNN的局限Self-AttentionSelf-attention 平行化Multi-head self-attention 以2头为例self-attention 局限性在一个seq2seq的model里如何使用self-attentionTransformertransformer原始paper的attent...
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 6178
self-attention，transformer及变形
（2021李宏毅）机器学习-Transformer
顾道长生的科研笔记
10-28 1256
文章目录Transformer模型EncoderResidual Connection & Layer normalizationlayer-NormEncoder总结DecoderAuto regressive（AT）Decoder具体结构Masked Multi-Head attentionEncoder-Decoder数据传输 Transformer模型 Transformer模型是一个基于多头自注意力的序列到序列模型 （seq2seq model），整个网络结构可以分为 编码器 （En.
transformer-李宏毅
涂宇鸽的博客
11-14 196
李宏毅 Transformer 学习笔记
热门推荐
herosunly的博客
07-04 1万+
1. self-attention 1.1 为什么要引入self-attention   基于RNN(LSTM)的序列模型来说，计算每个cell的输出无法进行并行化。而且单向的RNN无法很好的利用全局的信息。   self-attention的出现恰好解决了以上两大问题。 其中x->a这一步貌似在论文中并没有体现。在求每一个output的时候，对应的q会对所有的k求内积（除以d\sqrt...
李宏毅机器学习L5 Transformer
weixin_46524058的博客
07-30 693
学习笔记
Transformer（李宏毅老师Transforme PPT截图）
qq_40091720的博客
11-06 1833
李宏毅老师讲解transformerppt
【深度学习】05-01-Transformer-李宏毅老师21&22深度学习课程笔记
星辰不问
07-11 1460
【深度学习】05-01-Transformer-李宏毅老师21&22深度学习课程笔记
【李宏毅机器学习】Transformer 内容补充
最新发布
Karen_Yu_的博客
01-28 1316
发现一个奇怪的地方，如果直接看ML/DL的课程的话，有很多都是不完整的。开始思考是不是要科学上网。本文用作的补充内容，因为发现如果实操还是有不能理解的地方，所以准备看看宝可梦老师怎么说×。
李宏毅自注意力机制(self-attention)和Transformer详解笔记
qq_45607888的博客
01-11 2415
在self-attention中，a1与a2,a3,a4分布计算相关性，把a1乘以wq得到q1（q有个名字叫query），a2乘以wk得到k2（k称之为key），然后q1与q2做点积得到α1,2（老师课程中说的是inner product，推测是口误了），α1,2称为a1与a2的attention score，a3与a4同理得到a1,3和a1,4，self-attention的输入是一串的vector，这些vector可能是整个网络的输入，也可能是某个隐藏层的输出，每个b向量都是考虑所有的a向量而生成的。
李宏毅深度学习笔记（十四）Transformer
comli_cn的博客
02-01 536
0. 前言 Transformer实际上就是一个带有“self-attention”的sequence-to-sequence模型。 1.Transformer的提出 一般的sequence-to-sequence模型是用RNN来做的，但这样构成的模型不能进行平行计算，例如下图中左边的模型就是RNN结构的sequence-to-sequence模型，想要求出b4b^4b4就得先从a1a^1a1输入开始一步一步往后求，直到求出b4b^4b4，而不能对a1,a2,a3,a4a^1,a^2,a^3,a^4a1,a
The illustrated transformer：Attention Is All You Need
ACM_hades的博客
12-01 1861
参考链接：http://jalammar.github.io/illustrated-transformer/ 论文链接：https://arxiv.org/abs/1706.03762   一、Transform的整体框架： 在机器翻译中的Tansform可以像下图一样看作一个黑盒： Transform由三部分组成：编码器部分，解码器部分，以及它们之间的连接； 编码器...
李宏毅语音信号处理课程笔记：从Transformer到SpeechRecognition
"这是一份全面的语音信号处理课程学习资料，包含了李宏毅教授的课程笔记，内容涵盖Transformer模型的详细解析，SpeechRecognition的基本概念，Listen, Attend and Spell（LAS）模型的工作原理，以及一系列重要的序列...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值