LSTM与激活函数学习笔记

最新推荐文章于 2025-10-07 20:24:27 发布
原创 最新推荐文章于 2025-10-07 20:24:27 发布 · 6.6k 阅读 · 15 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

博客围绕LSTM与激活函数展开，虽无具体内容，但可知核心聚焦于LSTM这种长短时记忆网络以及激活函数相关知识，属于人工智能领域中人工神经网络与计算的范畴。

LSTM/梯度消失/激活函数
weixin_42887772的博客
10-20 1188
通过引入遗忘门，输入门，输出门，缓解了RNN的梯度消失现象三个门控制对前一段信息、输入信息以及输出信息的记忆状态，进而保证网络可以更好地学习到长距离依赖关系。遗忘门：通过判断当前输入的重要程度来决定对之前信息cell的保留度Ft​=sigmoid(Wxf​X+Whf​Ht−1​)输入门：通过判断当前输入的重要程度来决定对It​=sigmoid(Wxi​X+Whi​Ht−1​)
Tensorflow LSTM选择Relu激活函数与权重初始化、梯度修剪解决梯度爆炸问题实践
肖永威的专栏
03-27 7241
我最近研究多层LSTM在时序业务场景中的应用，基于Tensorflow框架实现的时候，如果把激活函数由默认tanh换成Relu时，出现梯度爆炸及难于训练问题，通过权重初始化、梯度修剪解决梯度爆炸问题。
深度学习之神经网络1(Neural Network)
最新发布
A5522000的博客
10-07 1367
神经网络是一种模仿生物神经网络的机器学习模型，由输入层、隐藏层和输出层组成。前向传播过程中，数据通过各层神经元进行加权计算和激活函数变换，最终产生预测结果。激活函数（如Sigmoid、Tanh等）为网络引入非线性因素，使其能拟合复杂函数。合理设置神经元权重和激活函数对网络性能至关重要。全连接神经网络中，相邻层神经元两两相连，每个连接都有权重参数。网络通过调整这些参数来学习数据特征，实现分类或回归任务。
MindSpore易点通·精讲系列--网络构建之LSTM算子
kaierlong的博客
06-30 1605
MindSpore易点通·精讲系列--网络构建之LSTM算子
深度学习入门（四）：激活函数与LSTM
Joy T的博客
08-02 1179
激活函数在神经网络中扮演着至关重要的角色。它们的主要功能是引入非线性因素，这使得神经网络能够学习和近似任何非线性函数，从而处理复杂的数据模式和决策边界。如果没有激活函数，即使网络拥有很多层，其表达能力仍然只限于线性函数，这大大限制了神经网络处理各种数据的能力。
LSTM及其激活函数理解
热门推荐
weixin_44014740的博客
11-25 2万+
LSTM及其激活函数理解 -------本文仅为学习笔记，不做任何商业用途------- 一、LSTM简介     长短期记忆网络（LSTM）是一种时间循环神经网络，是为了解决一般的RNN（循环神经网络）存在的长期依赖问题所设计出来的，可以解决RNN中的梯度消失和梯度爆炸的问题。     长短期记忆网络由于其独特的设计结构适合处理和预测时间序列中间隔和延迟非常长的重要事件。相比于传统的RNN，LSTM的参数会随着输入序列而改变，同时会选择记住和遗忘输入序列里的相关信息。LSTM可以用于不分段的连续手写识别上
pytorch学习笔记(激活函数)
eilot_c的博客
02-04 2405
下面介绍五种激活函数: Sigmoid Sigmoid非线性激活函数的数学表达式是,其图形如下.sigmoid函数是将一个实数输入转化到0-1之间的输出,负数越大转化越靠近于0,越大的正数越靠近1.  sigmoid 函数有两大缺点: sigmoid 函数会造成梯度消失,当它靠近1和0的时候,梯度基本上会变为0 ,如果用梯度下降法的话,如果梯度接近0,那么没有任何信息来更新参数,这样会...
pytorch 将lstm的激活函数变为relu
08-29
- *2* [Pytorch学习笔记10----激活函数及可视化](https://blog.youkuaiyun.com/qq_39400324/article/details/123988751)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_...
深度学习笔记——数值稳定性、模型初始化与激活函数
静静的学习就好
05-12 914
本节将对数值稳定性、模型初始化以及激活函数进行系统介绍。
【LSTM】LSTM cell的门结构学习笔记
shuaixio的博客
05-24 1344
LSTM cell门结构详解，门的公式输入、输出、维度、含义等，门的参数，关于LSTM门的一些疑问厘清
RNN/LSTM/GRU 学习笔记
Curz酥的博客
02-05 1513
深度学习笔记
PyTorch中常用的激活函数的方法示例
01-01
神经网络只是由两个或多个线性网络层叠加，并不能学到新的东西，简单地堆叠网络层，不经过非线性激活函数激活，学到的仍然是线性关系。 但是加入激活函数可以学到非线性的关系，就具有更强的能力去进行特征提取。 构造数据 import torch import torch.nn.functional as F from torch.autograd import Variable import matplotlib.pyplot as plt x = torch.linspace(-5, 5, 200) # 构造一段连续的数据 x = Variable(x) # 转换成张量 x_np = x.dat
LSTM两个激活函数不能一样
qq_35158533的博客
01-20 4183
这里写自定义目录标题关于LSTM两个激活函数的问题 关于LSTM两个激活函数的问题 LSTM中有两个激活函数：activation 和recurrent_activation recurrent_activation是针对三个门机制（遗忘门、输入门、输出门）的激活函数，而activation是针对输入信息（默认tanh）和当前隐状态输出（默认tanh）的激活函数。 理论上，两个激活函数都可以修改的。但是，有一点很有趣的现象 ----如果两个激活函数相同，结果loss出现nan（楼主损失函数为mse） 注意
深度学习（四）——RNN, LSTM, 神经元激活函数进阶
antkillerfarm的专栏
08-21 1万+
深度学习（四）——RNN, LSTM, 神经元激活函数进阶
深度学习——激活函数
JOKER_WJ的博客
11-26 2412
人工神经元、深入神经网络、参数初始化、激活函数
激活函数的选择
maybe_fate的博客
06-08 896
那么你应该使用哪个激活函数来处理深层神经网络的隐藏层？ 虽然你的里程会有所不同，一般 ELU > leaky ReLU（及其变体）> ReLU > tanh > sigmoid。 如果您关心运行时性能，那么您可能喜欢 leaky ReLU超过ELU。 如果你不想调整另一个超参数，你可以使用前面提到的默认的α值（leaky ReLU 为 0.01，ELU 为 1）。 如果您有...
LSTM模型中既存在sigmoid又存在tanh两种激活函数的原因
Aaron_Yang
05-30 7837
关于激活函数的选取，在LSTM中，遗忘门、输入门和输出门使用 Sigmoid函数作为激活函数;在生成候选记忆时，使用双曲正切函数tanh作为激活函数。值得注意的是，这两个激活函数都是饱和的也就是说在输入达到一定值的情况下，输出就不会发生明显变化了。如果是用非饱和的激活图数，例如ReLU，那么将难以实现门控的效果。 Sigmoid的输出在0-1之同，符合门控的物理定义，且当输入较大或较小时，其输出会非常接近1或0，从而保证该门开或关，在生成候选记亿时，使用tanh函数，是因为其输出在-1-1之间，这与大多数场
深度学习中激活函数的选择
浅梦的学习笔记
10-01 3294
本文介绍了深度学习引入非线性激活函数的原因，和几种常用的激活函数，sigmoid,tanh,relu,leaky relu,prelu,maxout.
神经网络 torch.nn---nn.LSTM()
用来自己学习，复习
06-13 3120
c_0 是shape=(num_layers*num_directions,batch_size,hidden_size)的张量, 保存着batch中每个元素的初始化细胞状态的Tensor。:长短时记忆网络层，它的主要作用是对输入序列进行处理，对序列中的每个元素进行编码并保存它们的状态，以便后续的处理。i_t, f_t, g_t, o_t分别代表 输入门，遗忘门，细胞和输出门。x_t是上一层的在时刻t的隐状态或者是第一层在时刻t的输入。：当前时间步的输出，也是下一个时间步的输入。c_t是时刻t的细胞状态，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值