TensorFlow中MultiRNNCell的正确调用方式，多层LSTM

最新推荐文章于 2025-04-10 14:58:26 发布
最新推荐文章于 2025-04-10 14:58:26 发布
阅读量9.1k 收藏 13
点赞数 7
文章标签： TensorFlow RNN LSTM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_43323092/article/details/82918316
版权
在TensorFlow中使用BasicLSTMCell和MultiRNNCell实现多层LSTM循环神经网络时，关于MultiRNNCell的用法，网络上很多例程中是错误的，误人子弟
  • 下面这样直接用一个BasicLSTMCell复制是错误的，会导致各层共享权重
    basic_cell = tf.nn.rnn_cell.BasicLSTMCell(rnn_unit)
multi_cell = tf.nn.rnn_cell.MultiRNNCell([basic_cell]*layer_num)
  • 在新版本TensorFlow源码中可以看到，上面这样的写法会给出警告：
    if len(set([id(cell) for cell in cells])) < len(cells):
    logging.log_first_n(logging.WARN,
                        "At least two cells provided to MultiRNNCell "
                        "are the same object and will share weights.", 1)
  • 官方推荐的写法，使用列表生成器：
      num_units = [128, 64]
  cells = [BasicLSTMCell(num_units=n) for n in num_units]
  stacked_rnn_cell = MultiRNNCell(cells)
juruo_wyc
关注
循环神经网络系列（三）Tensorflow中MultiRNNCell
空字符
11-03 2299
循环神经网络系列（一) Tensorflow中BasicRNNCell 循环神经网络系列（二）Tensorflow中dynamic_rnn 经过前面两篇博文，我们介绍了如何定义一个RNN单元，以及用dynamic_rnn来对其在时间维度（横轴）上展开。我们今天要介绍的就是如何叠加多层RNN单元（如双向LSTM），同时对其按时间维度展开。具体多层RNN展开长什么样呢？还是用最直观的图来展示，如下所示...
TensorFlow入门（五）多层 LSTM 通俗易懂版
热门推荐
大学之道，在明明德
03-10 13万+
欢迎转载，但请务必注明原文出处及作者信息。@author: huangyongye @creat_date: 2017-03-09 前言: 根据我本人学习 TensorFlow 实现 LSTM 的经历，发现网上虽然也有不少教程，其中很多都是根据官方给出的例子，用多层 LSTM 来实现 PTBModel 语言模型，比如： tensorflow笔记：多层LSTM代码分析 但是感觉这些例子还
tensorflow 之 MultiRNNCell 以及 dynamic_rnn
weixin_40922167的博客
11-02 301
来源： https://zhuanlan.zhihu.com/p/99421590 https://www.jianshu.com/p/f89c7f540f6e MultiRNNCell 注意：num_units, cells都是list形式，MultiRNNCell将多个RNN类的单元连在一起，构建一个多层的网络结构 import tensorflow as tf import numpy as np num_units = [50, 200, 300] cells = [tf.nn.rnn
NLP实战(2)：RNN和RNN Cell的序列处理
最新发布
Henry的博客
04-10 653
全连接神经网络也叫做Dense神经网络，利用线性层对特征进行变换例如，如果想要做预测是否下雨的系统，传统的DNN都是利用当天的数据特征进行预测但这样其实是没有用的，因为预测都是提前的，换句话说，我们需要利用前面的数据预测下一次的天气那么想要预测第四天的天气，需要前面三天的输入作为特征，假设每天都有三个特征的话，那么输入就是9个如果说利用DNN网络的话，需要把三天的特征展平、拼接成9维度的这样其实计算是很复杂的，因为DNN的网络参数非常多。因为CNN使用了权重共享RNN专门用来处理这种带有。
tf.contrib.rnn.MultiRNNCell的用法
qq_38409301的博客
05-02 6339
转载：https://www.jianshu.com/p/b3c7883e3ddf 建立模型 首先利用tf.contrib.rnn.MultiRNNCell将多个BasicLSTMCell单元汇总为一个。值得注意的是，每次添加一个单元需要重新调用一次BasicLSTMCell。因为该函数每次都会声明一次内部变量，如果不这么做则会reuse这些变量，从而产生错误。 # Forward pas...
图解、手动模拟tensorflow的MultiRNNCell
kami0116的博客
07-06 443
多元单层lstm 输入：向量长度为2，minibatch为2 图示： 代码： import tensorflow as tf import numpy as np hidden_size = 3 forget_bias = 0.0 multi_size = 2 # tf graph x_data = np.array(np.arange(1, 5), np.float32).re...
TensorFlow 笔记（三）：多层 LSTM代码详细介绍
lyc_yongcai的博客
06-15 6606
之前讲过了tensorflow中CNN的示例代码，现在我们来看RNN的代码。不过好像官方只给了LSTM的代码。那么我们就来看LSTM吧。 坦白说，这份写LSTM的代码有点难，倒不是说LSTM的原理有多难，而是这份代码中使用了大量tf提供的现成的操作函数。在精简了代码的同时，也增加了初学者阅读的难度。很多函数的用法我是去看源码，然后自己写示例代码才搞懂的。当然如果能把整份代码搞清楚的话，掌握这么多
tensorflow学习--使用多层LSTM预测三角函数
周永行的博客
05-24 1095
import tensorflow as tf import numpy as np import matplotlib as mpl from matplotlib import pyplot as plt hidden_size = 30 # LSTM 中隐藏节点的个数 //TODO 这个size是是什么意思 num_layers = 2 # LSTM 的层数 timest...
Tensorflow实战：LSTM原理及实现（详解）
m0_37917271的博客
09-03 10万+
  LSTM规避了标准RNN中梯度爆炸和梯度消失的问题，所以会显得更好用，学习速度更快 下图是最基本的LSTM单元连接起来的样子 上图为一层LSTM单元连接起来的样子，在工业上，LSTM是可以像一个很大的方阵的，其中除了输入层和输出层分别对应着Xt和ht的值以外，中间的部分都是一层层的LSTM单元，拓扑结构如下： LSTM内部结构 LSTM看上去就是这样一种效果，一个一个首尾相接...
Tensorflow学习笔记（一）初识LSTM——手写数字识别
weixin_42314697的博客
12-08 389
在优快云上看了不少的博客文章，学到了很多。今后会把自己的一些浅显理解写出来，算是对自己学习过程的记录吧。 本文参考自：[地址](https://blog.youkuaiyun.com/jerr__y/article/details/61195257) 准备阶段：导入相关模块 from __future__ import print_function import tensorflow as tf ...
tf.nn.rnn_cell.MultiRNNCell()使用示例
liugan528的博客
11-16 1831
import tensorflow as tf import numpy as np import matplotlib as mpl #mpl.use('Agg') from matplotlib import pyplot as plt # 隐层节点个数 HIDDEN_SIZE = 30 # 深层循环神经网络层数 NUM_LAYERS = 2 # 循环神经网络的训练序列长度,即循环体展开次数 TIME_STEPS = 10 # 训练轮次 TRAINING_STEPS = 10000 # batchsi
tf.nn.dynamic_rnn和MultiRNNCell构建多层动态LSTM
大雄没有叮当猫的博客
09-19 4277
import tensorflow as tf; import numpy as np; X = tf.random_normal(shape=[3, 5, 6], dtype=tf.float32) X = tf.reshape(X, [-1, 5, 6]) stacked_rnn=[] for i in range(3): stacked_rnn.append(tf.contrib...
VS——调用层次结构
VG
06-04 4226
看清函数调用关系——调用层次结构 用visual studio看比较大的工程代码时，可以选择一个重要的函数右键，就能查看该函数调用了那些函数以及哪些函数调用了该函数，这有助于看清代码的结构。
tensorflow学习之MultiRNNCell详解
大雄没有叮当猫的博客
09-24 1万+
tf.contrib.rnn.MultiRNNCell Aliases: Class tf.contrib.rnn.MultiRNNCell Class tf.nn.rnn_cell.MultiRNNCell 由多个简单的cells组成的RNN cell。用于构建多层循环神经网络。 __init__(     cells,     state_is_tuple=Tr...
用tensorflow构建动态RNN
蜗牛的小房子
03-28 375
直接看代码 def create_cell(): cell = rnn.LSTMCell(num_units) return rnn.DropoutWrapper(cell, input_keep_prob=0.5) rnn_cell = rnn.MultiRNNCell([create_cell() for _ in range(2)]) output, states = ...
深度学习（08）_RNN-LSTM循环神经网络-03-Tensorflow进阶实现
莫失莫忘的博客
06-24 1万+
全部代码：点击这里查看 本文个人博客地址：点击这里查看 关于Tensorflow实现一个简单的二元序列的例子可以点击这里查看 关于RNN和LSTM的基础可以查看这里 这篇博客主要包含以下内容 训练一个RNN模型逐字符生成文本数据(最后的部分) 使用Tensorflow的scan函数实现dynamic_rnn动态创建的效果 使用multiple RNN创建多层的RNN 实现Dropout和Layer
LSTM多层出现的问题：MultiRNNCell出现的错误问题以及解决方案
yjw19901214的博客
08-25 3290
错误：ValueError: Attempt to reuse RNNCell with a different variable scope than its first use. First use of cell was with scope 'rnn/multi_rnn_cell/cell_0/gru_cell', this attempt is with scope 'rnn/mu
使用TensorFlow实现RNN模型入门篇2--char-rnn语言建模模型
呜呜哈的博客
05-08 1万+
这是使用tf实现RNN模型的第二篇，上次用很简单的例子实现了一个简单的RNN用于解释其原理，这次我们开始结合NLP尝试构建一个char-rnn的语言建模模型。和CNN的入门篇一样，我们这里也直接来分析一个github上star很多的项目，这样我们不仅可以学习到一些编程的标准规范，还能够开始我们的RNN-NLP之旅。闲话少说，先来介绍一下此次要实现的char-rnn模型。 这个模型是Andr
tensorflow的LSTM
02-19
### 如何在TensorFlow中实现和使用LSTM #### 创建数据输入管道 为了使数据适应于LSTM模型，在处理之前通常需要调整其形状。例如，假设有一个输入张量`_X`，该张量被重新整形以适合具有特定时间步数和特征数量的LSTM层。 ```python import tensorflow as tf _X = ... # 输入数据占位符 time_steps = 28 num_features = 28 reshaped_input = tf.reshape(_X, [-1, time_steps, num_features]) ``` #### 构建单个LSTM单元 定义一个函数用于创建单一的LSTM单元，并应用Dropout技术防止过拟合现象的发生。这里设定遗忘门偏置为正数值有助于减少梯度消失问题的影响[^1]。 ```python def create_lstm_unit(hidden_size, keep_prob): lstm_cell = tf.nn.rnn_cell.BasicLSTMCell( num_units=hidden_size, forget_bias=1.0, state_is_tuple=True ) dropout_wrapped_cell = tf.nn.rnn_cell.DropoutWrapper( cell=lstm_cell, input_keep_prob=1.0, output_keep_prob=keep_prob ) return dropout_wrapped_cell ``` #### 堆叠多个LSTM层形成深层网络 通过调用`tf.nn.rnn_cell.MultiRNNCell`方法可以轻松构建一个多层堆叠的LSTM结构。这允许更复杂的模式学习以及更好的捕捉长时间依赖关系的能力。 ```python stacked_cells = tf.nn.rnn_cell.MultiRNNCell([ create_lstm_unit(hidden_size, keep_prob) for _ in range(num_layers) ], state_is_tuple=True) initial_state = stacked_cells.zero_state(batch_size, dtype=tf.float32) outputs, final_state = tf.nn.dynamic_rnn(stacked_cells, reshaped_input, initial_state=initial_state) ``` #### LSTM的工作原理概述 LSTM（长短期记忆）是一种特殊的循环神经网络(RNN)，设计目的是克服传统RNN难以训练的问题。它内部含有三个主要组件——遗忘门、输入/记忆门与输出门，它们共同作用来决定哪些信息应该保存下来并传递给下一个时刻的状态向量[^3]。 - **遗忘门**：决定了上一时刻的记忆有多少会被丢弃； - **输入/记忆门**：负责更新当前的新记忆部分； - **输出门**：控制着最终输出的内容； 这三个门都采用了sigmoid激活函数配合逐元素相乘的方式工作，从而实现了对信息流动的有效管理。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值