RNN、self-attention、transform的浅显或许错误的理解

最新推荐文章于 2025-04-20 16:29:42 发布
原创 最新推荐文章于 2025-04-20 16:29:42 发布
· 476 阅读 · 1 ·
版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

RNN、self-attention、transform的浅显或许错误的理解


所有的理解都是基于我匮乏的数学知识，当成y = kx+b来理解

一、RNN的理解

刚开始学的时候看了很多文章，但是感觉都是云里雾里，要么是数学要么是各种没有说明白的图，但是看的多了以后看到《难以置信！LSTM和GRU的解析从未如此清晰（动图+视频）》 《难以置信！LSTM和GRU的解析从未如此清晰（动图+视频）》.之后，有了自己简单但可能错误的理解

rnn:遗忘门-前文信息相加，由其值的大小作为k
      输入门：将前文作为k，然后乘上当前输入
      输出门：输入门的结果与前文信息共同作为k,
      然后乘以当前输入作为输出

因而梯度爆炸、梯度消失就很好理解了，因为连续乘以k，若k大就会互相爆炸式增长，若k小就会爆炸式的小，导致梯度爆炸、梯度消失

二、self-attention的理解

我是看了这篇《浅谈Attention机制的理解》《浅谈Attention机制的理解》.才感觉理解的，

正如这篇文章结语所说“Attention机制说大了就一句话，分配权重系数。当然里面还有很深的数学道理和理论知识，我还是没搞懂滴。所以这点浅显的理解就当茶语饭后的笑谈吧。”

我的理解就是将原有的词向量作为x，重新训练了一个k的矩阵，
在decode的时候，将词向量与权重向量同时decode的作为输出

由
在这里插入图片描述
变为
在这里插入图片描述

与全连接层比较后的思考:
全连接层，将x作为自变量，y为因变量，求出xy直接的关系k

而预训练模型中的attention需要理解的是词语即x之间的关系，就要让x变成k,那就需要原来的k变为自变量也就是当前y=kx的x,那么在不断的训练中，词向量就出来了。让原来的k变为x，就可以kx=y(k),来完成。

三、Transform的理解

关于Transform我最不能理解的就是q、k、v这三个矩阵，在刚刚写理解的时候突然发现q、k竟然是self-attention中存在的，我之前一直以为是transform特有的
参考文章：
《transformer问题整理（参考知乎大佬内容）》《transformer问题整理（参考知乎大佬内容）》.
《transformer中为什么使用不同的K 和 Q， 为什么不能使用同一个值？》《transformer中为什么使用不同的K 和 Q， 为什么不能使用同一个值？》.

赤乐君认为：“我们知道K和Q的点乘是为了得到一个attention score 矩阵，用来对V进行提纯。”

我的理解就是kq就是计算k，只是这样kq计算可能更加具有泛化性，因为kq的矩阵方向不同。q即查询向量等于全文向量，k是q与当前字向量的相似度，kq即为输入字向量的k加权值，kv相乘就完成了当前输入字向量的加权。如下图

在这里插入图片描述
kq的矩阵并不一样，一个横向，一个纵向，代表的含义不一样，横向即自身，纵向即上文，相乘后得到全文相似度即k的值，更加具有泛化性。

四、结语

自我感觉能够解释，但是或许不那么对。

Transformer和Self-Attention
sdw8855的博客
06-29 464
Transformer的本质上是一个Encoder-Decoder的结构，encoder读入输入数据，利用层层叠加的Self-Attention机制对每一个词得到新的考虑了上下文信息的表征。
【机器学习】从RNN到Attention 下篇 Transformer与Self-Attention
努力学挖掘机的李某某的博客
09-01 1618
在上一篇【机器学习】从RNN到Attention 中篇 从Seq2Seq到Attention in Seq2Seq中我们介绍了基于RNN结构的Attention机制，Attention机制通过encoder和注意力权重可以观察到全局信息，从而较好地解决了长期依赖的问题，但是RNN的结构本身的输入依赖于前一时刻模型的输出，因此无法并行化。既然Attention机制本身就具有捕捉全局信息的能力，那么我...
注意力机制----RNN中的self-attention
weiwei935707936的博客
11-08 1503
对于SimpleRNN来说，要更新当前状态h_1 ： 将“输入”和“上一个时刻状态”拼接 乘以A，加上b，乘以双曲正切函数 对于有注意力机制的RNN来说： 将“输入”和“c_0”拼接 （剩下都一样） （也可以将三个拼接） 每一个c的算法： 注意力权重和状态 做向量内积 总结： attention是用在seq2seq模型中的，是encoder做出用于decoder。 ..
讲透Transformer！为什么比RNN更强 ！！
最新发布
2401_84204413的博客
04-20 821
总体来说，本案例通过虚拟数据集构建了一个简单的二分类任务，并对 RNN 与 Transformer 两种模型进行了对比。通过详细的代码实现、模型训练以及可视化结果展示，不仅帮助初学者理解两种模型的基本原理，还能直观地看到它们在实际任务中的表现差异。
卷积神经网络（CNN）、循环神经网络（RNN）和自注意力（self-attention）对比
xw555666的博客
01-05 2817
卷积神经⽹络和⾃注意⼒都拥有并⾏计算的优势，⽽且⾃注意⼒的最⼤路径⻓度最短，但是因为其计算复杂度是关于序列⻓度的⼆次⽅（⾃注意⼒具有计算复杂性），所以在很⻓的序列中计算会⾮常慢。
Transformer相关内容 Self-Attention 相比较 RNN 和 LSTM 的优缺点
guoqingru0311的博客
12-28 724
Transformer相关内容 Self-Attention 相比较 RNN 和 LSTM 的优缺点
RNN模型与NLP应用：Self-Attention-9/9
teletubbies的博客
10-14 493
上一篇我们使用attention来改进seq2seq模型，seq2seq有两个RNN网络，一个encoder，一个decoder，这节课我们学习self-Attention，把Attention用在一个RNN网络上Attention的第一篇论文发表于2015年，用来改进seq2seq模型，解决RNN的遗忘问题，其实Attention并不局限于seq2seq模型，Attention可以用在所有的RNN上。
Self-attention原理 以及 与CNN,RNN对比
lxin690的博客
10-27 3513
Self-attention原理 以及 与CNN,RNN对比
Transformer+self-attention超详解（亦个人心得）
weixin_40920183的博客
11-30 1184
来源：https://zhuanlan.zhihu.com/p/432814387作者：Ziyang Li 来自东北电力大学，机器人工程专业本文仅作学术分享，著作权归属作者，侵删最近刚开始...
Transformer的前世今生 day06（Self-Attention和RNN、LSTM的区别）
丿罗小黑的博客
03-21 1427
Self-Attention和RNN、LSTM的区别 RNN（循环神经网络） RNN，当前的输出oto_tot​取决于上一个的输出ot−1o_{t-1}ot−1​作为当前的输入xt−1x_{t-1}xt−1​和当前状态下前一时间的隐变量hth_tht​，隐变量和隐变量的权重WhhW_hhWh​h存储当前状态下前一段时间的历史信息，如果我们去掉Whh∗ht−1W_{hh} * h_{t-1}Whh​∗ht−1​，RNN就退化为MLP 在RNN中，我们根据前一个的输出和当前的隐变量，就可以预测当前的输出。当前
【Transformer】关于RNN以及transformer的相关介绍
Q20011102的博客
08-09 1333
介绍RNN以及Transformer
Transformer（self-attention）剖析
&Mr.Lu~
08-30 251
之前的RNN输入是难以并行化的，下一个输入可能依赖前一个输出，只有知道了前面的输出才能计算后面的输出。 self-attention可以解决这一问题能够并行化计算。 如下图我们可以将Transformer当作黑盒来看，无非是输入一种语言翻译成其他语言输出。 将上图的Transformer进行拆解如下图我们可以看到Transformer是由一个Encoders和一个Decoders组成。 接着对Transformer近一步拆解如下图可以看出Encoder分别由6个Encoder组成（论文中是由6个组成.
【深度学习】RNN vs. Transformer，从循环到自注意力 最强比较 ！！
fengdu78的博客
09-23 557
深度学习序列模型方面，我们熟知的必须是 RNN 和 Transformer，今天想和大家聊聊 RNN 和 Transformer，并且探讨它们的区别和联系，让大家对这两种算法模型有一个更加熟悉的理解。首先来说，RNN 和 Transformer 都是深度学习中的序列模型，用来处理序列数据，但它们的结构和工作方式有所不同。RNN：是一种递归神经网络，适合处理时序数据（如时间序列、自然语言）。RNN通...
Transform和self-attention
justsolow的博客
10-14 1225
Transform和self-attention 再讲Transform之前必须先讲一下self-attention，但是再讲self-attention之前有必要讲一下attention。 attention的讲解这篇文章讲的挺好的，可以参考一下。 总的来说attention有两种划分方式： 第一种划分方式： Spatial Attention 空间注意力(图片)和Temporal Attention 时间注意力(序列) 这种划分方式里面主要有BAM，CBAM CBAM可以看做是通道注意力机制和空间注意力
【深度学习】从self-attention到transform（self-attention入坑指南）
五好市民金闪闪的博客
07-24 776
简介 该教程主要参考的是台大李宏毅的网课视频，附上视频链接：台大李宏毅self-attention教程 文中图片均引自台大李宏毅的PPT，需要PPT的童鞋请戳这里：教程配套PPT 本文针对视频中的一些重点进行总结，看不懂的童鞋还请去看原视频，毕竟李宏毅yyds！！ 背景什么的就不再介绍了，网上一搜一大堆，不知道背景的童鞋可以先去度娘问一下。 转载请注明出处。 正文开始 self-attention主要是针对seq2seq的，根据输入和输出的向量长度的不同可以分为三种情况： 输入和输出长度相同，也就是说输入
【深度学习】RNN中Attention原理详解
zkq_1986的博客
06-08 1655
我们从输出端，即decoder部分，倒过来一步一步看公式。 St=f(St−1,yt−1,ct)(1)(1)St=f(St−1,yt−1,ct)StSt是指decoder在tt时刻的状态输出，St−1St−1是指decoder在t−1t−1时刻的状态输出，yt−1yt−1是t−1t−1时刻的label（注意是label，不是我们输出的yy），ctct看下一个公式，ff是一个RNN。ct=∑j=1T...
Attention机制之Transformer
luyiheng的博客
03-12 1195
文章目录Attention机制 -- Transformer0. 代码1. Scaled Dot-product Attention2. Multi-head Attention3.残差网络，Normalization与feed-forward network4. Transformer中使用Multi-head Attention的细节5. Positional encoding [浅谈 Tr...
Transform中的Attention注意力机制
热门推荐
m0_37565948的博客
12-20 1万+
本文边讲细节边配合代码实战，代码地址为： https://github.com/princewen/tensorflow_practice/tree/master/basic/Basic-Transformer-Demo 数据地址为：https://pan.baidu.com/s/14XfprCqjmBKde9NmNZeCNg密码:lfwu 1、Attention发展史 ...
深入理解 Bert核心：Self-Attention与transformer
zhong_ddbb的博客
07-24 3404
文章目录Attention机制基本思想Attention机制的权值transformer中的self-Attentionself-Attention多头机制self-Attention位置信息的表达Transformer 本文主要讲解Bert模型的核心：transformer。transformer利用self-attention机制实现快速并行。并且Transformer可以增加到非常深的深度，充分发掘DNN模型的特性，提升模型准确率。通过先讲解Attention机制，再讲解Transformer模型，理
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值