RNN中矩阵乘法的形状改变——直观感受RNN

最新推荐文章于 2025-05-16 14:19:09 发布
原创 最新推荐文章于 2025-05-16 14:19:09 发布 · 714 阅读 · 6 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #pytorch #神经网络 #rnn

本文深入解析RNN中矩阵乘法的形状变化，涉及输入向量到隐藏层、隐藏层间的传递以及隐藏层到输出层的转换。通过tanh激活函数和PyTorch的广播机制，阐述了如何进行隐藏状态的更新和最终输出的计算，帮助读者直观理解RNN的工作原理。

RNN
HHH为隐藏层
WxhW_{xh}Wxh​为输入向量到隐藏层的变换矩阵
WhhW_{hh}Whh​为隐藏层Ht−1H_{t-1}H<

最低0.47元/天 解锁文章
00PS
关注
【深度学习】注意力机制| 基于“上下文”进行编码,用更聪明的矩阵乘法替代笨重的全连接
Yaoyao2024的博客
04-26 1568
注意力机制目前已经运用到大部分深度学习算法框架当中。从编解码和词嵌入开始，一步一步理解Transformer，注意力机制(Attention)的本质是卷积神经网络(CNN)。这篇视频由浅入深，讲得十分好，看了几遍后让我对注意力机制是个啥，能干啥有了比较清晰的认识。但是，学习是一回事，如何运用又是一回事，最近在看AlphaFold的论文，特别是想研究清楚它的代码，它是如何把这些深度学习的算法运用起来，来解决仅仅根据蛋白质序列来预测蛋白质三维结构这样的生命科学难题的。
【规模定律】第二部分：初探规模定律——直观理解与初步概念
最新发布
u012133341的博客
06-04 170
本文深入探讨了AI领域的规模定律（Scaling Laws），揭示了模型性能与规模间的幂律关系。通过分析Chinchilla和OpenAI等关键研究，文章系统阐述了模型参数量(N)、训练数据量(D)和计算资源(C)三个核心维度的相互作用规律。研究表明：1）模型性能遵循L = aN^(-k)的幂律提升；2）不同架构（Transformer/CNN）对规模扩展效率存在差异；3）训练稳定性和优化器选择对实现理论性能至关重要。文章通过MNIST分类实验和合成数据拟合，直观展示了参数量与准确率/损失函数间的非线性关系
神经网络——循环神经网络（RNN）
m0_63093988的博客
11-26 1581
循环神经网络（Rerrent Neural Network, RNN）是一种特殊的神经网络架构，一般以序列数据作为输入，通过网络内部结构设计挖掘捕捉数据中的时序信息以及语义信息。通常可用于语音识别、语言模型、机器翻译以及时序分析等等。（序列数据：具有序列特性的数据，比如文本，语音，股票等等）
【神经网络】学习笔记十七——IRNN：初始化矩阵RNN
杨的博客
10-10 2575
首先对IRNN进行了总的简要介绍，后面进行了原理剖析和为什么引进了IRNN，以及最后总结了它的优点和特点。 目录 一、说在前面 1. 传统RNN的问题 2. IRNN做出的改变 3. 提出的IRNN的重点 二、引入：传统RNN存在的问题 1. 传统RNN存在的问题 2. 改进的LSTM和GRU的问题 3. IRNN的引入 总结 一、说在前面 IRNN（Identity Matrix RNN），初始化RNN，即初始化矩阵循环神经网络。 1. 传统RNN的问题 传统RNN由于在时间.
循环神经网络（RNN）
涂作权的博客
02-20 5731
对于人类而言，以前见过的事物会在脑海中留下记忆，虽然随后记忆会慢慢消失，但是每当经过提醒，人们往往可以重拾记忆。在神经网络中也是一样，之前介绍的CNN模型都是与时间序列无关的模型，它有明显的局限性，就是只能单独的取处理一个个的输入，前一个输入和后一个输入是完全没有关系的。但是，某些任务需要能够更好的处理序列的信息，即前面的输入和后面的输入是有关系的。所以接下来要介绍一种在序列问题和自然语言处理等领域取得很大成功的模型——循环神经网络。 一. 循环神经网络（RNN） 具体来讲，卷积神经网络相当于人类的视觉，但
RNN原理
OscarMind的博客
10-12 1968
RNN原理 1.经典RNN结构 PART 1:        上图，时序形式的数据不好用原始的神经网络处理，为此RNN引入了隐状态h(hidden state)的概念，可以对序列形的数据提取特征，然后转换为输出。 PART 2: 上图从U,W分别为x,h0的参数矩阵,b为偏置项,f为激活函数。   PART 3: 上图一次计算剩下的h，使用相同的参数矩阵U,W和偏置b...
RNN有关问题
qq_45781655的博客
08-18 1228
记录自己在学习RNN的过程中遇到的问题，也欢迎大家在评论区中指出错误以及补充其他问题
深度学习：RNN基础
牛顿爱吃香蕉的博客
08-19 968
RNN 基础符号说明1、基本循环神经网络的前向传播2、Long Short-Term Memory (LSTM) 网络3、反向传播3.1、基本循环神经网络的反向传播3.2、LSTM 反向传播 符号说明 上标 [l][l][l] 表示 lthl^{th}lth 层. 例如：a[4]a^{[4]}a[4] 为 4th4^{th}4th 层激活. W[5]W^{[5]}W[5] 和 b[5]b^{...
Recurrent Neural Network（RNN）——循环神经网络
weixin_45153966的博客
12-04 1627
循环神经网络（RNN），附代码 参考： [1] https://www.bilibili.com/video/BV1BQ4y1R7V7?p=3 [2] https://www.bilibili.com/video/BV1kq4y1H7sw?spm_id_from=333.999.0.0 在小规模问题上，RNN可能效果还是不错。 特点：输入和输出长度无需固定，适合语音，文本等时序序列数据。 RNN架构 上图为RNN的整体架构，RNN每次看到一个词，通过状态hi来积累看到的信息。例如，h0包含x0的信息，h1
RNN-文本分类任务实战
hnlg311709000526的博客
08-17 2299
目录 一、了解 二、实战--映射表 三、实战--embedding词嵌入矩阵 四、实战--构建训练数据 五、实战--自定义网络模型 六、实战--训练 一、了解 网络上关于RNN循环神经网络的讲解，已经够多了。讲的比较好的，当然是吴恩达-深度学习-RNN了。吴师讲解了许多种的RNN模型，并且给出了RNN适用的领域，并且有相关的博客吴恩达-RNN记录。 在这篇博客中，依然关注RNN实战。 将对影评数据集进行情感分析，看看是否是正面的，即二分类问题。 有下面三点需注意： · 数据集构建
解释矩阵乘法在神经网络中的应用（面试题200合集，高频、关键）
qq_38334677的博客
05-16 667
从最简单的感知器到复杂的深度学习模型，如卷积神经网络（CNNs）、循环神经网络（RNNs）以及Transformer，矩阵乘法无处不在，它不仅提供了简洁的数学表达方式，更重要的是使得大规模并行计算成为可能，从而推动了人工智能的飞速发展。它不仅提供了一种优雅而强大的方式来表达神经元之间的复杂交互，更重要的是，它使我们能够利用现代计算硬件的并行处理能力来训练和部署日益庞大和复杂的深度学习模型。矩阵乘法不仅是全连接层的核心，在其他更复杂的网络结构中也扮演着关键角色，尽管有时会以更间接的方式出现。
白话RNN系列（二）
夜阑听风
01-19 788
紧接白话谈RNN系列（一） 上文讨论了基础的全连接神经网络，本文，我们来说说RNN。 首先，RNN相比于普通的神经网络，有什么改进？ 两点比较突出：权值共享和隐层神经元节点的有序连接。 直接上图，浅显易懂： 上图，摘自深度学习（花书），左侧图和右侧图表达了相同的含义，我们以右侧图为例，并配合实例，对RNN进行透彻的分析，我尽可能以很通俗移动的方式把RNN讲明白。 从本图中，我们很清...
rnn（一）：概念介绍
shi_xin的专栏
07-20 403
目录 RNN 要解决的问题： 解决问题得原理： RNN Recurrent Neural Network，循环神经网络。 要解决的问题： 训练样本输入是连续的序列,相关性很强,且序列的长短不一，比如基于时间的序列：一段段连续的语音，一段段连续的手写文字。 解决问题得原理： 图中左边是RNN模型没有按时间展开的图，如果按时间序列展开，则是上图中的右边部分。 通过预测输出o(t)和训练序列真实输出y(t),以及损失函数L(t)，可以用DNN类似的方法来训练模型，接着用来预测测试.
【循环神经网络】对RNN的理解
qq_41427568的博客
09-22 656
为什么需要RNN？ 这也是我接触完卷积网络之后的疑问，有了卷积神经网络以及感知机（人工神经网络）这两种提取特征的利器，为什么深度学习还需要循环神经网络(RNN Recurrent Neural Network)？ 原因是他们都只能单独的去处理一个个输入，前一个输入和后一个输入是没有关系的，生成的结果之间也是没有关系的。但是在生活中，我们需要一些模型来处理序列信息，即前面的输入和后面的输入是有一定关...
史上最小白之RNN详解
Tink1995的博客
03-14 4万+
1.前言 网上目前已经有诸多优秀的RNN相关博客，但是我写博客的出发点主要是为了加深和巩固自己的理解，所以还是决定自己再进行一下总结和描述，如有不正确的地方欢迎指正~ 2.区分RNN 循环神经网络(Recurrent Neural Network)，递归神经网络(Recursive Neural Network)，你有没有发现他们的缩写都是RNN，那他们两个是同一回事儿吗？网上有一些博客把这两就当...
Tensorflow矩阵运算（矩阵相乘，点乘，行/列累加）
Kenn7的博客
12-06 3万+
Tensorflow二维、三维、四维矩阵运算（矩阵相乘，点乘，行/列累加） 1. 矩阵相乘  根据矩阵相乘的匹配原则，左乘矩阵的列数要等于右乘矩阵的行数。 在多维（三维、四维）矩阵的相乘中，需要最后两维满足匹配原则。 可以将多维矩阵理解成：（矩阵排列，矩阵），即后两维为矩阵，前面的维度为矩阵的排列。 比如对于（2，2，4）来说，视为2个（2，4）矩阵。 对于（2，2，2，4）来说，视为...
RNN详解
huwenxing0801的博客
12-08 3865
前言 本文首先介绍了为什么使用RNN及其与DNN的区别，然后详细讲解了RNN的结构和它的计算公式。最后简单介绍了双向RNN及深层双向RNN的结构和计算公式。 为什么用RNN？ DNN和CNN无法对时间序建模，上一层神经元的输出只能传递给下一层神经元。而在循环神经网络(RNN)中，神经元的输出在下一时刻是可以传递给自身的，可以对时间序列建模。很多任务的时间序列信息很重要，即一个样本中前后输入的信息...
RNN浅析（上）
LeoChen1983的专栏
03-20 3万+
A Survey on Recurrent Neural Network
循环神经网络(RNN, Recurrent Neural Networks)介绍
热门推荐
我和我追逐的梦~~~
09-23 53万+
循环神经网络(RNN, Recurrent Neural Networks)介绍   这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。  循环神经网络(Recurrent Neural N
rnn 拼接矩阵乘法
10-11
RNN（Recurrent Neural Network，循环神经网络）可以通过拼接矩阵乘法的方式来实现输入和隐藏状态之间的计算。简单来说，就是将输入向量和上一时刻的隐藏状态向量进行拼接，然后利用权重矩阵进行乘法运算，得到当前...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值