再读SRGNN论文之GRU与RNN和LSTM

最新推荐文章于 2025-05-30 13:53:35 发布
最新推荐文章于 2025-05-30 13:53:35 发布
阅读量2.3k 收藏 1
点赞数 7
CC 4.0 BY-SA版权
分类专栏： NLP与推荐算法 文章标签： SRGNN GRU LSTM RNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/SPESEG/article/details/111702222
本文探讨了在深度学习推荐系统中，GRU相对于LSTM和RNN的优势。通过实例展示了GRU的效果，并分析了为何选用GRU。同时，文章提及了在实现过程中遇到的LSTM替换问题，以及会话图嵌入和内积运算在相似度计算中的作用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

hi主要是没太多时间用来思考，所以很多东西都不是太清楚，只会装逼，这样不好，要从理论/代码上理解到底说的是什么事情，这是科学问题：是什么和为什么？作为搬砖工还是有必要深入了解，不然真的只能搬砖了。可在我的主页搜索相关博文，不再挨个附上。【面试明明是技术面，却总是在问科学的问题，这很扯淡】

For Recommendation in Deep learning QQ Group 102948747

For Visual in deep learning QQ Group 629530787

I'm here waiting for you

不接受这个网页的私聊/私信！！！

了解本专栏 订阅专栏 解锁全文 超级会员免费看
lstm原始论文_RNN及其改版（LSTM, 双向RNN, seq2seq）总结
weixin_39856589的博客
12-04 1925
RNN(Recurrent Neural Networks) 循环神经网络目的：考虑连续数据的前后关联影响。方法：将前（和/或 后）方的数据作为一个权重加入到原有推断中。作用：预测分析，语义分析，连续数列的分析改进： 双向RNN：前后都作为权重加入到神经元的推导LSTM：输入门，输出门，遗忘门，解决长期依赖的问题GRN：更新门，重置门，与LSTM相同，节省计算量seq2seq：解决不等长序列的问题...
RNN和LSTM在NLP中的应用(含部分论文及代码)
hestendelin的专栏
10-19 4311
本文中的RNN是指Recurrentneuralnetwork，循环神经网络，而不是递归神经网络，Recursive neural network。循环神经网络的核心...
转载两篇关于RNN和LSTM的好文章
huashetianzu的专栏
08-25 438
https://blog.youkuaiyun.com/qq_32241189/article/details/80461635https://blog.youkuaiyun.com/m0epnwstyk4/article/details/79124800
荣登Nature！“特征融合+GNN”刷爆SOTA！
最新发布
Aimoxin111的博客
05-30 733
深度神经网络集成：通过集成DNN方法，如SuperPoint和SuperGlue，提高了系统在动态场景中的定位精度和闭环检测的准确性，使PLE-SLAM在复杂环境中的长期运行更加稳定。潜在空间融合：通过融合MoLFormer和MHG-GNN的潜在空间，该方法在多个基准数据集上优于现有的最先进的方法，包括在11亿分子上训练的MoLFormer-XL。质量感知融合策略：通过区分不同质量的特征并进行针对性的融合操作，有效地去除了冗余特征，保留了有效特征，并有机地整合了它们，从而提高了特征表示的质量。
RNN(Recurrent Neural Networks)和LSTM
以笔为剑的唐吉坷德
01-19 1169
RNN是目前NLP中很火的神经网络，也是需要掌握的一种神经网络。可以在BPNN的基础上来学习RNN 以上是RNN的定时循环， 用来处理输入之间前后关联的问题。 传统神经网络并不能做到思考的持久性，这是一个巨大的弊端。而RNN关注于此。 RNN可以看作是同一神经网络的多次复制，每个神经网络模块会把消息传递给下一个，以下是循环的展开： LSTM是RNN中非常重要的一种变形，几乎所
1.24CNN（基本框架），RNN（简单RNN,LSTM,GRU简要)两个参考论文
m0_73553411的博客
01-29 917
H就是每层神经元所产生的一个输出信号，输出层产生的信号经过输出函数转化为最终输出。当遗忘门值为0时，意味着上期记忆完全遗忘；就是说简单的RNN模型容易导致梯度消失以及梯度爆炸的问题。在输出阶段可以使用sigmoid函数返回01值。整体框架类似于数电里的状态机、时序逻辑电路。S函数返回0到1，T函数返回-1到1。CNN是卷积神经网络。
RNN、LSTM、GRU详解
qq_56640350的博客
03-05 933
在深度学习领域，序列数据（如语音识别、机器翻译、文本生成等）广泛应用于自然语言处理（NLP）、时间序列预测、语音和视频处理等任务中。针对序列数据，循环神经网络（RNN, Recurrent Neural Network）及其改进版本——长短时记忆网络（LSTM, Long Short-Term Memory）和门控循环单元（GRU, Gated Recurrent Unit）成为处理时序任务的核心模型。RNN 是一种具有记忆能力的神经网络，能够处理序列数据（如文本、音频、时间序列信号）。
深度学习--几种常见的循环神经网络视频教学（RNN+LSTM+GRU）
06-10
深度学习的顶级循环神经网络的工作方式包括 LSTM、GRU 和 RNN. 循环神经网络(RNN)在自然语言处理、语音识别等有很广泛的用途。LSTM和GRU是目前使用最广泛的两个循环神经网络的模型变种。该视频课程内容主要分为三大...
【NLP5-RNN模型、LSTM模型和GRU模型】
weixin_34280060的博客
03-18 1711
RNN（Recurrent Neural Network)中文称为循环神经网络，它一般以序列数据为输入，通过网络内部的结构设计有效捕捉序列之间的关系特征，一般也是以序列形式进行输出RNN的循环机制使模型隐层上一时间步产生的结果，能够作为当下时间步输入的一部分（当下时间步的输入除了正常的输入外还包括上一步的隐层输出）对当下时间步的输出产生影响根据反向传播算法和链式法则，梯度的计算可以简化为以下公式Dnσz1w1∗σz2w2∗σznwnDn​σz1​w1。
python手动实现RNN、LSTM、GRU.zip
09-14
在深度学习领域，循环神经网络（Recurrent Neural Networks, RNN）、长短时记忆网络（Long Short-Term Memory, LSTM）和门控循环单元（Gated Recurrent Unit, GRU）是处理序列数据的重要模型。本资源包“python手动...
rnn,lstm与GRU详解
05-20
三种循环神经网络的介绍与比较，帮助大家对循环神经网络的理解
RNN变体——GRU网络论文原文
05-14
GRU在LSTM网络的基础上减少一个门限，用更新门代替了遗忘门和输出门，其训练参数更少，效果更好。
GRU4rec与SRGNN之间的比较
_Mogician的博客
11-23 3072
SRGNN采用了Attention机制（GRU能够增强或削弱前一时刻的信息，但从整体上考虑并不是很好），而且最后的再次考虑了最后一个点击的重要性 SRGNN使用了数据增强(Data augmentation)的方法，一个Session可以切片成多个来训练 GRU4rec受序列顺序影响很大，SRGNN直接考虑这个item与所有邻接item之间的关系，邻接顺序并没有影响，并且相比于GRU只考虑了之前...
循环神经网络RNN、LSTM、GRU原理详解
TheHonestBob的博客
05-31 4153
一、写在前面 这部分内容应该算是近几年发展中最基础的部分了，但是发现自己忘得差不多了，很多细节记得不是很清楚了，故写这篇博客，也希望能够用更简单清晰的思路来把这部分内容说清楚，以此能够帮助更多的朋友，对于理解错误的地方也希望各位能够留下宝贵的意见，觉得不错别忘了点赞鼓励一下。 二、循环（递归）神经网络RNN 1、神经网络 在开始RNN之前我们先简单的回顾一下神经网络，下图就是一个简单的神经网络的示...
推荐系统 - SR GNN架构详解（包含图神经网络GNN和门控图神经网络GGNN的介绍）
热门推荐
马飞飞的博客
08-18 2万+
说明 1.SR-GNN是中科院提出的一种基于会话序列建模的推荐系统，这里所谓的会话是指用户的交互过程（每个会话表示一次用户行为和对应的服务，所以每个用户记录都会构建成一张图），这里说的会话序列应该是专门表示一个用户过往一段时间的交互序列。基于会话的推荐是现在比较常用的一种推荐方式，比较常用的会话推荐包括循环神经网络、马尔科夫链。但是这些常用的会话推荐方式有以下的两个缺点： ...
【论文精读】门控图神经网络GGNN及SRGNN
_Mogician的博客
05-30 1万+
GGNN SRGNN是GGNN在推荐系统上的应用，核心网络几乎没有改变。GGNN的核心模型其实非常简单，在计算上和GRU基本没有区别。但为了更好的理解ava_vav​是如何构造出来的，我们还得从最基本的思想讲起。 信息传播 绝大多数GNN的思想在于消息传播(Message Passing)或者说信念传播(Belief Propagation)。很自然的，我们知道一个节点的信息可以根据其邻居节点信息进行更新。 初代GNN 2009年最早的GNN论文1将这个过程抽象为 xn=fw(ln,lco[n],xne
【序列召回推荐】(task3)GNN召回之SR-GNN
发现问题，并解决问题，批判性思维
11-20 2077
- 关于图深度学习算法的简单回顾： - 一开始是经典的word2vec（以skip-gram为例，先取周围词随机初始化的embedding，进行平均池化后与中心词embedding进行点积）通过周围词预测中心词（多分类任务），不断迭代得到每个词embedding； - deepwalk随机游走生成节点序列，然后还是用w2v生成embedding；而Node2vec仅是多了控制游走方向的参数； - GCN：基础公式为$\boldsymbol{H}^{l+1}=\sigma\left(\
SRGNN 基于图神经网络的会话推荐 推荐系统经典文章阅读
主要分享推荐系统相关论文阅读，偶尔发点奇思妙想和好玩的
10-08 1637
基于会话的推荐问题旨在基于匿名会话预测用户行为。先前的方法将会话建模为一个序列，并估计除项目表示之外的用户表示以进行推荐。虽然取得了有希望的结果，但它们不足以在会话中获得准确的用户向量，并且忽略了项目的复杂转换。为了获得准确的项目嵌入并考虑项目的复杂转换，我们提出了一种新方法，即基于图神经网络的会话推荐，简称 SR-GNN。在所提出的方法中，会话序列被建模为图结构数据。基于会话图，GNN 可以捕获项目的复杂转换，而这些转换很难通过以前的传统顺序方法揭示。
Sr-gnn
weixin_43951296的博客
11-27 699
sr-gnn用于推荐
GRU与RNN和LSTM的区别
03-09
### GRU、RNN 和 LSTM 的区别 #### 循环神经网络 (RNN) 循环神经网络通过引入循环结构来处理序列数据，这允许信息在网络内部持续存在[^2]。尽管如此，基本的 RNN 存在一个主要缺点——长期依赖问题。当试图捕捉长时间间隔的信息时，梯度消失或爆炸的问题会严重影响模型性能。 为了更好地理解这一点，可以想象将相同的网络多次复制并让每次复制的结果影响下一次的操作；这就是展开后的 RNN 所做的事情[^1]。 #### 长短期记忆单元 (LSTM) 为了解决传统 RNN 中存在的长期依赖性挑战，Hochreiter & Schmidhuber 提出了长短期记忆(LSTM) 单元的概念。相比简单的 RNN 架构,LSTM 增加了一个特殊的细胞状态以及三个门控机制(输入门, 输出门和遗忘门)，用于更精细地控制信息流。这种设计使得 LSTM 能够有效地学习跨越较长时间步的数据模式。 #### 门控循环单元 (GRU) 门控循环单元(GRU) 是另一种改进型的循环神经网络架构，在一定程度上简化了 LSTM 的复杂度的同时保留其优势特性。具体来说，GRU 将更新过程中的重置门(reset gate)与更新门(update gate)相结合，并且不再区分隐藏状态和细胞状态这两个概念[^5]。因此，相比于完整的 LSTM 结构而言，GRU 参数较少，计算效率更高一些。 综上所述，虽然三者都属于循环神经网络家族成员，但在解决特定应用场景下的表现各有千秋： - **RNN**: 对于短时间跨度的任务可能已经足够好； - **LSTM**: 更擅长应对涉及较长历史记录的学习任务； - **GRU**: 则提供了一种折衷方案，在保持良好性能的基础上降低了实现难度。 ```python # 示例代码展示如何定义三种类型的层 import torch.nn as nn rnn_layer = nn.RNN(input_size=100, hidden_size=50) lstm_layer = nn.LSTM(input_size=100, hidden_size=50) gru_layer = nn.GRU(input_size=100, hidden_size=50) ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小李飞刀李寻欢

您的欣赏将是我奋斗路上的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值