Transformer（李宏毅老师Transforme PPT截图）

最新推荐文章于 2025-02-11 17:26:38 发布
最新推荐文章于 2025-02-11 17:26:38 发布
阅读量1.9k 收藏 10
点赞数
CC 4.0 BY-SA版权
分类专栏： 课程 文章标签： transformer
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_40091720/article/details/127714344
本文探讨了自注意力机制在Seq2seq模型中的应用，对比了RNN、CNN等传统方法，并详细解析了自注意力机制如何实现并行计算以及其在序列到序列任务中的优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

参考李宏毅老师Transformer 课程连接https://www.youtube.com/watch?v=ugWDIIOHtPA&list=PLJV_el3uVTsOK_ZK5L0Iv_EQoL1JefRL4&index=61

Seq2seq model with Slef-attention

RNN:Hard to paralled RNN考虑整个句子再输出
Using CNN to replace RNN ，CNN可平行化，CNN考虑受限，如果重叠很多层CNN，上层可考虑更多咨询
在这里插入图片描述
用self-attention取代原RNN想做的事情，输入是一个sequence，输出也是一个sequence，每个输出也都考虑过整个input，b1和b4可同时被算出
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章

200万优质内容无限畅学
Transformer（李宏毅2022）
linyuxi_loretta的博客
10-18 2654
（作业五）变形金刚的英文就是Transformer,那Transformer也跟我们之后会,提到的BERT有非常强烈的关係,
【第九周】李宏毅机器学习笔记07：Transformer
qq_30043925的博客
08-25 2400
这周主要了解了 transformer 中的 encoder 和 decoder 的结构和实现原理。在 decoder 中学习了两种解码的方法，一种是 AT （Autoregressive Transformer） ，另一种是NAT（Non-Autoregressive Transformer）。其中，AT生成序列质量高但速度较慢，而NAT则以牺牲部分质量换取更快的生成速度。最后还学习了如何训练 transformer 以及训练中的小 tips。
台大李宏毅自注意力机制和Transformer详解（续）！
溯源的专栏
03-29 650
1）Transformer是变形金刚的意思，与BERT有很强的关联。2）Transformer是一个sequence-to-sequence（seq2seq）的模型，输出长度由模型自己决定3）encoder部分主要是self-attention，另外采用了残差网络构架和layer normalization4）decoder由AT和NAT两种方式。需要定义BEGIN和END特殊符号。AT的方式一开始是输入BEGIN符号，最后预测产生了END符号结束。
Transformer PPT
04-22
介绍了为什么要引入self-attention、self-attention的基本原理、self-attention的矩阵表示、Multi-head self-attention、 Positional Encoding、seq2seq
transformer.ppt
09-23
详细介绍transformer的功能希望对初学者有帮助
李宏毅【课件PPT】
12-07
此压缩包包含李宏毅老师的机器学习所有课件，都是在李宏毅老师个人主页下载整理的，建议配合B站李宏毅老师的Machine Learning 视频一块使用，里面的公式最好推导一下，效果更佳！
Transformer.ppt
12-02
简单介绍transformer实现理论
图解Transformer就这30页PPT，你们真不看啊
Z4400840的博客
09-25 2451
主要介绍了Seq2Seq模型，慢慢引出了transformer的整体模型架构，比较具体的介绍了编码器部分的数据处理过程，包括了位置编码、多头注意力机制、残差连接、Layer Norm以及前馈网络等基本结构。
机器学习（李宏毅）——Transformer
最新发布
Dlog的博客
02-11 1366
机器学习（李宏毅）——transformer笔记
李宏毅Transformer
u014422462的专栏
07-07 831
Transformer Transformer 其实就是Sequence-to-Sequence（Seq2Seq）架构的model，就是输入一堆向量，输出一堆向量，输出的向量数量由机器自己决定。 Seq2Seq架构 整体架构 Encode部分 Encode部分就是输入一堆向量，然后输出一堆向量，这个encoder部分可以是RNN或者CNN组成的，但是在Transformer里，Encoder得是Transformer的Encoder就是下图右边这部分。 首先我们看下Encoder的基本架构，就是红色框中
Transformer详解.pptx
06-15
本课件是对论文 Attention is all you need 的导读与NLP领域经典模型 Transformer 的详解，通过介绍传统Seq2Seq 模型及 Attention ，引入 Transformer 模型，并对其架构进行宏观微观的解读，然后详细介绍Transformer每一步的工作流程，最后给出 Transformer 在训练阶段的细节提要，以及推理阶段的解码策略等内容。
台大_李宏毅PPT_机器学习
10-28
本资源是机器学习 台大教授 李机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。宏毅的授课配PPT讲稿。
李宏毅 BERT PPT
01-05
介绍了基于上下文的词嵌入、ELMO、BERT的结构、训练方法、应用场景、GPT等内容。适合初学者进行学习
Transformer深度讲解，进一步给出其在NLP和CV下的发展，共95页ppt，全网最好的讲解，没有之一
12-21
1.Transformer背景介绍 2.Transfromer整体架构 3.Transformer输入部分 4.Transfromer的编码器 5.Transfromer的解码器 6.Transformer输出部分 7.Transfromer其他部分 1.GPT-1 和 Bert 2.GPT-2 3.GPT-3 Transformer在深度学习环境下背景： 17年自Attention is all you need提出后，开始在NLP（自然语言处理）领域大放异彩 20年后，开始在CV领域发光，到现在基本一统天下了 其在NLP和CV领域下的许多分类、分割、检测等任务下均刷榜 总结一下Transformer模型。 从论文本身来看，其最大的创新在于提出的注意力机制，即多头注意力层，并嵌入到一个模块化可堆叠的模型结构中。一开始Transformer被用于机器翻译，但它也能够用在几乎所有的NLP任务上。自它之后，整个深度学习重心开始转向NLP方面。 4..InstructGPT和ChatGPT 1.VIT 2.Clip与DallE-1 3.DiffusionModel和DallE-2
李宏毅 机器学习 PPT
11-12
李宏毅 机器学习 PPT 李宏毅 机器学习 PPT
【深度学习】05-01-Transformer-李宏毅老师21&22深度学习课程笔记
星辰不问
07-11 1508
【深度学习】05-01-Transformer-李宏毅老师21&22深度学习课程笔记
【深度学习】李宏毅：图解 Transformer
qq_38904659的博客
02-05 1175
Transformer Transformer 是 2017 年引入的深度学习模型，主要用于自然语言处理领域。与循环神经网络一样，Transformers 旨在处理顺序数据（例如自然语言），以执行翻译和文本摘要等任务。但是，与 RNN 不同，Transformers 不需要按顺序处理顺序数据。 Why do we need the Transformer? RNN 是最经典的处理 Sequence 的模型，单向 RNN 或双向 RNN 等等。 RNN 存在的问题：难以并行化处理 于是，就有人
【李宏毅机器学习】TransFormer框架基础储备知识（p51） 学习笔记 | 全程手码，放心食用
weixin_45947476的博客
12-06 727
全文总结于哔哩大学的视频：李宏毅2020机器学习深度学习(完整版)国语 2020版课后作业范例和作业说明在github上：点击此处 李宏毅上传了2020版本的机器学习视频和吴恩达的CS229机器学习相比，中文版本的机器学习显得亲民了许多，李宏毅的机器学习是英文的ppt+中文讲解，非常有利于大家入门。吴恩达的CS229中偏向于传统机器学习（线性回归、逻辑回归、Naive Bayes、决策树、支持向量机等），李宏毅2020版本的机器学习中除了最前面的回归、分类，后面更多篇幅涉及卷积神经网络（CNN）、循环神经网
Transformer——台大李宏毅详讲Transformer
Irving.Gao的博客
12-05 1496
台大李宏毅详讲Transformer
transformer李宏毅
12-30
### 李宏毅 Transformer 教学资料 #### 变革性的模型架构：Transformer 李宏毅在其教学资源中深入探讨了Transformer这一变革性模型架构。作为现代自然语言处理和其他序列建模任务的核心组件，Transformer通过自注意力机制实现了并行化训练的可能性，从而显著提高了效率和性能[^1]。 #### 自注意力机制解析 在讲解过程中，特别强调了自注意力（Self-Attention）的概念及其工作原理。这种机制允许模型在同一时间点上关注输入数据的不同部分，进而捕捉更复杂的依赖关系。具体来说，对于给定位置的每一个词，它会计算与其他所有位置词语之间的关联权重，并据此调整自身的表示形式[^2]。 #### 实战应用案例分析 除了理论介绍外，还包括多个实战应用场景的研究。例如，在机器翻译任务中的表现评估；如何利用预训练好的BERT等大型语言模型来提升下游NLP任务的效果等方面进行了详细的讨论[^3]。 #### 动手实践环节设置 为了让学员更好地掌握所学知识，课程设计了一系列动手实验活动。这些练习不仅涵盖了基础概念的理解与实现，还涉及到了一些前沿研究方向上的探索，比如多头注意力机制的设计思路以及其背后的数学逻辑解释[^4]。 ```python import torch import torch.nn as nn class MultiHeadedAttention(nn.Module): def __init__(self, h, d_model, dropout=0.1): "Take in model size and number of heads." super().__init__() assert d_model % h == 0 self.d_k = d_model // h self.h = h self.linears = clones(nn.Linear(d_model, d_model), 4) self.attn = None self.dropout = nn.Dropout(p=dropout) def forward(self, query, key, value, mask=None): ... ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值