Self-attention详解——台大李宏毅教授课程

最新推荐文章于 2025-08-02 15:33:00 发布
原创 最新推荐文章于 2025-08-02 15:33:00 发布 · 311 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#ai #人工智能 #神经网络

这篇博客详细探讨了前端开发中的Vue.js框架，重点讲解了组件化开发和状态管理，同时提及了与React和Angular的比较。作者还分享了最佳实践和常见问题的解决方案，对于提升Web应用开发效率有极大帮助。

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

第十章（2）：Transformer之Self-attention
安静到无声
10-23 1213
本文主要介绍在看李宏毅自注意机制视频的一些自我总结。
李宏毅机器学习——Self-attention
weixin_45366750的博客
09-14 392
一、vector set形式的输入 文字输入、声音信号处理、图、分子结构 二、输出的形式 1、每一个向量都有一个对应的一个label 2、完整的序列，对应一个label e.g.Sentiment Analysis 3、让机器自己决定输出多少个labels【seq2seq】 e.g.机器翻译、语音识别 三、Sequence Labeling（输入跟输出数目一样多的状况） 初步想法：将每个seq都放到fully-connected network中，输出 问题：每个vec同等对待，难以区分词性 解决：联系上
李宏毅教授Attention课程笔记总结
weixin_42825220的博客
07-25 1595
Generation 可以用RNN生成文本、图片(grid lstm)、视频、手写字、语音 *grid lstm Conditional generation：不是随机产生，而是有情境地产生 应用：image caption/machine translation/chat-bot Encoder和Decoder的参数可以一样或者不一样，当参数一样时，参数比较少，比较不容...
李宏毅深度学习——self-attention
weixin_54542639的博客
09-16 1082
这个是李宏毅深度学习self-attention部分的内容，祝大家学习快乐！
李宏毅 Attention
tangweirensheng的博客
10-05 332
考虑整个 sequence长度的内容 可以多层 self attention叠加 attention is all you need 1, dafada alpha : attention score代表两个输入的关联性 b1~b4并行产生 Muti-head self attention Positional Encoding No position information in self attention each...
Self-Attention模型(李宏毅)
qfikh的博客
02-27 1005
李宏毅关于self-attention
Transformer2--Multi-head self-attention
luralying的博客
06-26 1325
为什么是multi-head self attention?**并行的处理多种注意力模式：**每个注意力头使用不同的线性变换，这意味着它们可以从输入序列的不同子空间中学习不同的特征关联。这样一来，模型可以通过多个注意力头同时关注输入序列的不同方面，如一句话的语法结构、语义角色、主题转移等。**增加模型的学习能力和表达能力：**通过多个注意力头，由于每个头关注的特征不同，模型可以学习到更丰富的上下文信息，这样综合起来可以更加全面的理解和处理序列。
台大李宏毅自注意力机制和Transformer详解
溯源的专栏
03-25 1018
本文主要是记录李宏毅老师机器学习课程中关于self-attention部分的记录。
台大李宏毅自注意力机制和Transformer详解（续）！
溯源的专栏
03-29 787
1）Transformer是变形金刚的意思，与BERT有很强的关联。2）Transformer是一个sequence-to-sequence（seq2seq）的模型，输出长度由模型自己决定3）encoder部分主要是self-attention，另外采用了残差网络构架和layer normalization4）decoder由AT和NAT两种方式。需要定义BEGIN和END特殊符号。AT的方式一开始是输入BEGIN符号，最后预测产生了END符号结束。
李宏毅深度学习教程 第6-7章 自注意力机制 + Transformer
最新发布
nju_spy的博客
08-02 1390
李宏毅深度学习教程 第6-7章 自注意力机制 + Transformer。编码器、解码器的操作原理，以及有哪些特定情形的优化变形手法，如多头注意力，截断自注意力，束搜索，复制机制。
【机器学习】李宏毅——自注意力机制(Self-attention)
FavoriteStar的博客
09-08 2162
【机器学习】李宏毅——自注意力机制(Self-attention)
李宏毅自注意力机制笔记 (Self-attention)
路边的石头
05-10 1238
Vector Set as Input What is the output 1.Each vector has a label. 2.The whole sequence has a label. 3.Model decides the number of labels itself. Sequence Labeling 太孤立了把相邻向量串进去喂到全连接网络 （window） Self-attention 或是下边这样 最知名的文章 relevant 计算
【李宏毅】自注意力机制self-attention
SofiaT的博客
04-23 997
自注意力机制网课笔记
self-attention（李宏毅老师系列）
Moliay的博客
08-12 1048
recurrent neural network 的角色,很大一部分都可以用 Self-attention 来取代。⇒哪些部分是重要的（判断label,决定class,决定regression数值）用。每一个像素pixel就是一个三维的向量,整张图片,其实就是长乘以宽个向量的set。使用多个 q,k,v组合，不同的 q,k,v 负责不同种类的相关性。计算Attention的模组：拿两个向量作为输入,输出。再把 q 乘上另外两个矩阵,分别得到。同一个“头”里的k,q,v计算b.并Normalization。
[DL笔记] Transformer介绍 Attention机制 李宏毅深度学习
VIPsucks的博客
12-19 1613
Transformer 李宏毅深度学习 tags: Deep Learning, Transformer, , seq2seq, Attention 笔记内容参考于：https://youtu.be/ugWDIIOHtPA 原文link（我最初的笔记，图较多，建议阅读，要fq ^.^）： https://hackmd.io/@abliu/BkXmzDBmr RNN： 是最经典的处理Sequen...
李宏毅自注意力机制(self-attention)和Transformer详解笔记
qq_45607888的博客
01-11 3494
在self-attention中，a1与a2,a3,a4分布计算相关性，把a1乘以wq得到q1（q有个名字叫query），a2乘以wk得到k2（k称之为key），然后q1与q2做点积得到α1,2（老师课程中说的是inner product，推测是口误了），α1,2称为a1与a2的attention score，a3与a4同理得到a1,3和a1,4，self-attention的输入是一串的vector，这些vector可能是整个网络的输入，也可能是某个隐藏层的输出，每个b向量都是考虑所有的a向量而生成的。
李宏毅——transformer
shaoyue1234的专栏
10-09 1843
李宏毅——transformer导读self-attentionmulti-head self-attention顺序问题seq2seq with attentiontransformer网络架构attention visualization例子 导读 什么是transformer： 对于序列，常用的是RNN RNN的问题，不容易并行处理。 所以有人提出了，用CNN来替代RNN。 图中每一个三角...
自注意力机制（Self-attention）-深度学习-台湾大学李宏毅
m0_49683806的博客
10-16 670
自注意力机制（self-attention）是一种用于处理序列数据的注意力机制，最早应用在Transformer模型中。自注意力机制能够在输入序列中建立起各个元素之间的关联性，并根据这些关联性为每个元素分配一个权重。
李宏毅《深度学习》- Self-attention 自注意力机制
热门推荐
0202zc 的博客
10-20 2万+
无论是预测视频观看人数还是图像处理，输入都可以看作是一个向量，输出是一个数值或类别。然而，若输入是一系列向量（序列），同时长度会改变，例如把句子里的单词都描述为向量，那么模型的输入就是一个向量集合，并且每个向量的大小都不一样： 将单词表示为向量的方法：One-hot Encoding（独热编码）。向量的长度就是世界上所有词汇的数目，用不同位的1（其余位置为0）表示一个词汇，如下所示：但是它并不能区分出同类别的词汇，里面没有任何有意义的信息。另一个方法是Word Embedding：给单词一个向量，这个向量
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值