RNN、self-attention、transform的浅显或许错误的理解

最新推荐文章于 2025-03-24 20:46:31 发布
原创 最新推荐文章于 2025-03-24 20:46:31 发布 · 496 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文以简单的数学概念y=kx+b为基础，探讨了RNN、Self-Attention及Transformer的工作原理。对于RNN，解释了遗忘门、输入门和输出门如何处理梯度消失和爆炸问题；在Self-Attention部分，作者将其理解为对词向量分配权重的过程；至于Transformer，重点在于理解Q、K、V矩阵的作用，它们通过不同的矩阵点乘实现信息的加权提取。作者指出，K和Q的点乘增强了模型的泛化能力。

RNN、self-attention、transform的浅显或许错误的理解


所有的理解都是基于我匮乏的数学知识，当成y = kx+b来理解

一、RNN的理解

刚开始学的时候看了很多文章，但是感觉都是云里雾里，要么是数学要么是各种没有说明白的图，但是看的多了以后看到《难以置信！LSTM和GRU的解析从未如此清晰（动图+视频）》 《难以置信！LSTM和GRU的解析从未如此清晰（动图+视频）》.之后，有了自己简单但可能错误的理解

rnn:遗忘门-前文信息相加，由其值的大小作为k
      输入门：将前文作为k，然后乘上当前输入
      输出门：输入门的结果与前文信息共同作为k,
      然后乘以当前输入作为输出

因而梯度爆炸

最低0.47元/天 解锁文章
卷积神经网络（CNN）、循环神经网络（RNN）和自注意力（self-attention）对比
xw555666的博客
01-05 3184
卷积神经⽹络和⾃注意⼒都拥有并⾏计算的优势，⽽且⾃注意⼒的最⼤路径⻓度最短，但是因为其计算复杂度是关于序列⻓度的⼆次⽅（⾃注意⼒具有计算复杂性），所以在很⻓的序列中计算会⾮常慢。
注意力机制----RNN中的self-attention
weiwei935707936的博客
11-08 1557
对于SimpleRNN来说，要更新当前状态h_1 ： 将“输入”和“上一个时刻状态”拼接 乘以A，加上b，乘以双曲正切函数 对于有注意力机制的RNN来说： 将“输入”和“c_0”拼接 （剩下都一样） （也可以将三个拼接） 每一个c的算法： 注意力权重和状态 做向量内积 总结： attention是用在seq2seq模型中的，是encoder做出用于decoder。 ..
Transformer相关内容 Self-Attention 相比较 RNN 和 LSTM 的优缺点
guoqingru0311的博客
12-28 777
Transformer相关内容 Self-Attention 相比较 RNN 和 LSTM 的优缺点
【机器学习】从RNN到Attention 下篇 Transformer与Self-Attention
努力学挖掘机的李某某的博客
09-01 1647
在上一篇【机器学习】从RNN到Attention 中篇 从Seq2Seq到Attention in Seq2Seq中我们介绍了基于RNN结构的Attention机制，Attention机制通过encoder和注意力权重可以观察到全局信息，从而较好地解决了长期依赖的问题，但是RNN的结构本身的输入依赖于前一时刻模型的输出，因此无法并行化。既然Attention机制本身就具有捕捉全局信息的能力，那么我...
RNN模型与NLP应用：Self-Attention-9/9
teletubbies的博客
10-14 515
上一篇我们使用attention来改进seq2seq模型，seq2seq有两个RNN网络，一个encoder，一个decoder，这节课我们学习self-Attention，把Attention用在一个RNN网络上Attention的第一篇论文发表于2015年，用来改进seq2seq模型，解决RNN的遗忘问题，其实Attention并不局限于seq2seq模型，Attention可以用在所有的RNN上。
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的...输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
序列模型相关，分析cnn,rnn, self-attention模型在学习序列依赖的能力
08-06
序列模型相关，分析 CNN、RNN、Self-Attention 模型在学习序列依赖的能力 序列模型是自然语言处理和机器学习领域中的重要组成部分，广泛应用于文本分类、机器翻译、语音识别等领域。其中，CNN、RNN 和 Self-...
【深度学习】Self-Attention机制详解：Transformer的核心引擎
最新发布
欢迎来到我的优快云个人博客主页！
03-24 2304
本文介绍了Self-Attention（自注意力机制）。在深度学习领域，Transformer架构的出现彻底改变了自然语言处理(NLP)的格局，而Self-Attention（自注意力）机制则是Transformer的核心组件。Self-Attention兼具了卷积的局部处理能力和全连接层的全局连接特性，但它通过动态生成权重的方式实现了更灵活的表示学习，这也是Transformer架构成功的关键因素之一。
Attention 和 Self-Attention 总结
安静的软件工程师
03-08 1959
Attention 和 Self-Attention 总结
Self-attention原理 以及 与CNN,RNN对比
lxin690的博客
10-27 3645
Self-attention原理 以及 与CNN,RNN对比
Transformer+self-attention超详解（亦个人心得）
weixin_40920183的博客
11-30 1240
来源：https://zhuanlan.zhihu.com/p/432814387作者：Ziyang Li 来自东北电力大学，机器人工程专业本文仅作学术分享，著作权归属作者，侵删最近刚开始...
Transformer的前世今生 day06（Self-Attention和RNN、LSTM的区别）
丿罗小黑的博客
03-21 1486
Self-Attention和RNN、LSTM的区别 RNN（循环神经网络） RNN，当前的输出oto_tot​取决于上一个的输出ot−1o_{t-1}ot−1​作为当前的输入xt−1x_{t-1}xt−1​和当前状态下前一时间的隐变量hth_tht​，隐变量和隐变量的权重WhhW_hhWh​h存储当前状态下前一段时间的历史信息，如果我们去掉Whh∗ht−1W_{hh} * h_{t-1}Whh​∗ht−1​，RNN就退化为MLP 在RNN中，我们根据前一个的输出和当前的隐变量，就可以预测当前的输出。当前
【Transformer】关于RNN以及transformer的相关介绍
Q20011102的博客
08-09 1582
介绍RNN以及Transformer
Transformer（self-attention）剖析
&Mr.Lu~
08-30 281
之前的RNN输入是难以并行化的，下一个输入可能依赖前一个输出，只有知道了前面的输出才能计算后面的输出。 self-attention可以解决这一问题能够并行化计算。 如下图我们可以将Transformer当作黑盒来看，无非是输入一种语言翻译成其他语言输出。 将上图的Transformer进行拆解如下图我们可以看到Transformer是由一个Encoders和一个Decoders组成。 接着对Transformer近一步拆解如下图可以看出Encoder分别由6个Encoder组成（论文中是由6个组成.
【深度学习】RNN vs. Transformer，从循环到自注意力 最强比较 ！！
fengdu78的博客
09-23 762
深度学习序列模型方面，我们熟知的必须是 RNN 和 Transformer，今天想和大家聊聊 RNN 和 Transformer，并且探讨它们的区别和联系，让大家对这两种算法模型有一个更加熟悉的理解。首先来说，RNN 和 Transformer 都是深度学习中的序列模型，用来处理序列数据，但它们的结构和工作方式有所不同。RNN：是一种递归神经网络，适合处理时序数据（如时间序列、自然语言）。RNN通...
Transform和self-attention
justsolow的博客
10-14 1268
Transform和self-attention 再讲Transform之前必须先讲一下self-attention，但是再讲self-attention之前有必要讲一下attention。 attention的讲解这篇文章讲的挺好的，可以参考一下。 总的来说attention有两种划分方式： 第一种划分方式： Spatial Attention 空间注意力(图片)和Temporal Attention 时间注意力(序列) 这种划分方式里面主要有BAM，CBAM CBAM可以看做是通道注意力机制和空间注意力
【深度学习】从self-attention到transform（self-attention入坑指南）
五好市民金闪闪的博客
07-24 809
简介 该教程主要参考的是台大李宏毅的网课视频，附上视频链接：台大李宏毅self-attention教程 文中图片均引自台大李宏毅的PPT，需要PPT的童鞋请戳这里：教程配套PPT 本文针对视频中的一些重点进行总结，看不懂的童鞋还请去看原视频，毕竟李宏毅yyds！！ 背景什么的就不再介绍了，网上一搜一大堆，不知道背景的童鞋可以先去度娘问一下。 转载请注明出处。 正文开始 self-attention主要是针对seq2seq的，根据输入和输出的向量长度的不同可以分为三种情况： 输入和输出长度相同，也就是说输入
transform详解
weixin_41012399的博客
08-01 2186
transform的attention也是需要用权重代表重要程度，输入*权重=输出，再用输出和label计算loss，transform的权重是通过自注意力机制（Q，K，V）计算得到的。transformer：输入，位置编码，编码器（attention，前馈网络），解码器（attention，前馈网络，mask），loss，反向传播，优化器。通过embedding层得到三个token的embedding，假定分别为：[1, 0, 1, 0]，[0, 2, 0, 2]，[1, 1, 1, 1]
Transformer和Self-Attention
sdw8855的博客
06-29 495
Transformer的本质上是一个Encoder-Decoder的结构，encoder读入输入数据，利用层层叠加的Self-Attention机制对每一个词得到新的考虑了上下文信息的表征。
Self-Attention技术研究进展深度解读
Self-Attention机制允许模型在处理序列数据时，直接建模序列内各个元素之间的依赖关系，相比传统的循环神经网络(RNN)和长短期记忆网络(LSTM)等模型，具有并行计算和长距离依赖建模的优势。 本资源从三大顶会（通常...
评论 3
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值