Transformer（李宏毅老师Transforme PPT截图）

最新推荐文章于 2024-09-25 11:32:17 发布
原创 最新推荐文章于 2024-09-25 11:32:17 发布 · 2.1k 阅读 · 10 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#transformer

本文探讨了自注意力机制在Seq2seq模型中的应用，对比了RNN、CNN等传统方法，并详细解析了自注意力机制如何实现并行计算以及其在序列到序列任务中的优势。

参考李宏毅老师Transformer 课程连接https://www.youtube.com/watch?v=ugWDIIOHtPA&list=PLJV_el3uVTsOK_ZK5L0Iv_EQoL1JefRL4&index=61

Seq2seq model with Slef-attention

RNN:Hard to paralled RNN考虑整个句子再输出
Using CNN to replace RNN ，CNN可平行化，CNN考虑受限，如果重叠很多层CNN，上层可考虑更多咨询
在这里插入图片描述
用self-attention取代原RNN想做的事情，输入是一个sequence，输出也是一个sequence，每个输出也都考虑过整个input，b1和b4可同时被算出
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章
李宏毅2025《机器学习》第四讲-Transformer架构的演进
木鱼时刻的专栏
07-06 1337
李宏毅第四讲：Transformer架构的演进
[PPT] 李宏毅chatgpt，生成式ai
liguandong
03-27 4524
上面两张图是在测试语言模型是否真的有判断能力，蓝色是没有输入prompts，橙色是输入了正确的prompts，红色是输入错误的prompts，但是红色输入错误的promots，模型的输出并没有错很多。给模型输入一些不相关的prompt，看模型的输出，橙色给的正确答案，红色是错误答案，紫色是无关答案，蓝色没给prompt，给机器的promot很重要，prompt其实就是提示它做什么任务。模型越大，从context中学习到的能力越强，颜色越深，打乱label之后学习能力改变越明显，甚至给错误的答案他能反着学。
李宏毅【课件PPT】
12-07
此压缩包包含李宏毅老师的机器学习所有课件，都是在李宏毅老师个人主页下载整理的，建议配合B站李宏毅老师的Machine Learning 视频一块使用，里面的公式最好推导一下，效果更佳！
Transformer PPT
04-22
介绍了为什么要引入self-attention、self-attention的基本原理、self-attention的矩阵表示、Multi-head self-attention、 Positional Encoding、seq2seq
transformer.ppt
09-23
详细介绍transformer的功能希望对初学者有帮助
Transformer.ppt
12-02
简单介绍transformer实现理论
图解Transformer就这30页PPT，你们真不看啊
Z4400840的博客
09-25 2887
主要介绍了Seq2Seq模型，慢慢引出了transformer的整体模型架构，比较具体的介绍了编码器部分的数据处理过程，包括了位置编码、多头注意力机制、残差连接、Layer Norm以及前馈网络等基本结构。
台大李宏毅自注意力机制和Transformer详解（续）！
溯源的专栏
03-29 765
1）Transformer是变形金刚的意思，与BERT有很强的关联。2）Transformer是一个sequence-to-sequence（seq2seq）的模型，输出长度由模型自己决定3）encoder部分主要是self-attention，另外采用了残差网络构架和layer normalization4）decoder由AT和NAT两种方式。需要定义BEGIN和END特殊符号。AT的方式一开始是输入BEGIN符号，最后预测产生了END符号结束。
Transformer（李宏毅2022）
linyuxi_loretta的博客
10-18 2723
（作业五）变形金刚的英文就是Transformer,那Transformer也跟我们之后会,提到的BERT有非常强烈的关係,
李宏毅Transformer
u014422462的专栏
07-07 870
Transformer Transformer 其实就是Sequence-to-Sequence（Seq2Seq）架构的model，就是输入一堆向量，输出一堆向量，输出的向量数量由机器自己决定。 Seq2Seq架构 整体架构 Encode部分 Encode部分就是输入一堆向量，然后输出一堆向量，这个encoder部分可以是RNN或者CNN组成的，但是在Transformer里，Encoder得是Transformer的Encoder就是下图右边这部分。 首先我们看下Encoder的基本架构，就是红色框中
Transformer详解.pptx
06-15
本课件是对论文 Attention is all you need 的导读与NLP领域经典模型 Transformer 的详解，通过介绍传统Seq2Seq 模型及 Attention ，引入 Transformer 模型，并对其架构进行宏观微观的解读，然后详细介绍Transformer每一步的工作流程，最后给出 Transformer 在训练阶段的细节提要，以及推理阶段的解码策略等内容。
台大_李宏毅PPT_机器学习
10-28
本资源是机器学习 台大教授 李机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。宏毅的授课配PPT讲稿。
李宏毅 BERT PPT
01-05
介绍了基于上下文的词嵌入、ELMO、BERT的结构、训练方法、应用场景、GPT等内容。适合初学者进行学习
Transformer深度讲解，进一步给出其在NLP和CV下的发展，共95页ppt，全网最好的讲解，没有之一
12-21
1.Transformer背景介绍 2.Transfromer整体架构 3.Transformer输入部分 4.Transfromer的编码器 5.Transfromer的解码器 6.Transformer输出部分 7.Transfromer其他部分 1.GPT-1 和 Bert 2.GPT-2 3.GPT-3 Transformer在深度学习环境下背景： 17年自Attention is all you need提出后，开始在NLP（自然语言处理）领域大放异彩 20年后，开始在CV领域发光，到现在基本一统天下了 其在NLP和CV领域下的许多分类、分割、检测等任务下均刷榜 总结一下Transformer模型。 从论文本身来看，其最大的创新在于提出的注意力机制，即多头注意力层，并嵌入到一个模块化可堆叠的模型结构中。一开始Transformer被用于机器翻译，但它也能够用在几乎所有的NLP任务上。自它之后，整个深度学习重心开始转向NLP方面。 4..InstructGPT和ChatGPT 1.VIT 2.Clip与DallE-1 3.DiffusionModel和DallE-2
李宏毅 机器学习 PPT
11-12
李宏毅 机器学习 PPT 李宏毅 机器学习 PPT
【深度学习】05-01-Transformer-李宏毅老师21&22深度学习课程笔记
星辰不问
07-11 1578
【深度学习】05-01-Transformer-李宏毅老师21&22深度学习课程笔记
【深度学习】李宏毅：图解 Transformer
qq_38904659的博客
02-05 1272
Transformer Transformer 是 2017 年引入的深度学习模型，主要用于自然语言处理领域。与循环神经网络一样，Transformers 旨在处理顺序数据（例如自然语言），以执行翻译和文本摘要等任务。但是，与 RNN 不同，Transformers 不需要按顺序处理顺序数据。 Why do we need the Transformer? RNN 是最经典的处理 Sequence 的模型，单向 RNN 或双向 RNN 等等。 RNN 存在的问题：难以并行化处理 于是，就有人
【李宏毅机器学习】TransFormer框架基础储备知识（p51） 学习笔记 | 全程手码，放心食用
weixin_45947476的博客
12-06 819
全文总结于哔哩大学的视频：李宏毅2020机器学习深度学习(完整版)国语 2020版课后作业范例和作业说明在github上：点击此处 李宏毅上传了2020版本的机器学习视频和吴恩达的CS229机器学习相比，中文版本的机器学习显得亲民了许多，李宏毅的机器学习是英文的ppt+中文讲解，非常有利于大家入门。吴恩达的CS229中偏向于传统机器学习（线性回归、逻辑回归、Naive Bayes、决策树、支持向量机等），李宏毅2020版本的机器学习中除了最前面的回归、分类，后面更多篇幅涉及卷积神经网络（CNN）、循环神经网
Transformer——台大李宏毅详讲Transformer
Irving.Gao的博客
12-05 1542
台大李宏毅详讲Transformer
transformer李宏毅
最新发布
12-30
### 李宏毅 Transformer 教学资料 #### 变革性的模型架构：Transformer 李宏毅在其教学资源中深入探讨了Transformer这一变革性模型架构。作为现代自然语言处理和其他序列建模任务的核心组件，Transformer通过自注意...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值