【tensorflow】tf.contrib.rnn.BasicLSTMCell解析

最新推荐文章于 2022-07-08 17:42:21 发布
最新推荐文章于 2022-07-08 17:42:21 发布
阅读量1.4k 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/zkq_1986/article/details/84833878
本文详细解析了TensorFlow中BasicLSTMCell的源码及参数，包括神经元数量、遗忘偏置、状态元组和激活函数等关键配置，是理解LSTM单元内部运作的必备指南。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

BasicLSTMCell 是最简单的LSTMCell，源码位于：/tensorflow/contrib/rnn/python/ops/core_rnn_cell_impl.py。
BasicLSTMCell 继承了RNNCell，源码位于：/tensorflow/python/ops/rnn_cell_impl.py
def __init__(self, num_units, forget_bias=1.0, input_size=None,
               state_is_tuple=True, activation=tanh):

Args:

  • num_units: int, The number of units in the LSTM cell.神经元数量
  • forget_bias: float, The bias added to forget gates (see above). Must set to 0.0 manually when restoring from CudnnLSTM-trained checkpoints.  遗忘的偏置是0-1的数，1全记得，0全忘记
  • state_is_tuple: If True, accepted and returned states are 2-tuples of the c_state and m_state. If False, they are concatenated along the column axis. The latter behavior will soon be deprecated.最好是true,返回元祖。
  • activation: Activation function of the inner states. Default: tanh.    激活函数，默认tanh
  • input_size: Deprecated and unused.
零python基础看程序之版本改动下的tf.contrib.rnn.BasicLSTMCell、placeholder等修改方法
a2473的博客
06-05 2366
博主采用的环境是tf-gpu2.0.0 Github程序应该是比较老的tf1超早期版本。在采用了 import tensorflow.compat.v1 as tf之后依旧出现与tf.contrib相关的属性缺失的问题。原因在于tf版本的不匹配。 主要有以下汇总： tf.contrib.rnn.BasicLSTMCell 改为 tf.nn.rnn_cell.BasicLSTMCell tf.contrib.rnn.MultiRNNCell 改为 tf.nn.rnn_cell.MultiRNNCell tf.
序列到序列的语言翻译模型代码(tensorflow)解析
EternalMind
08-14 7869
序列到序列的RNN语言机器翻译模型的tensorflow代码解析
tf.contrib.rnn.BasicLSTMCell
qq_38721353的博客
03-19 2936
首先我们先来看一下RNN的内部结构： 再看一下LSTM的内部结构： LSTM的讲解请看这篇博客： https://blog.csdn.net/pipisorry/article/details/78361778 tensorflow中实现这个功能的函数是 tf.contrib.rnn.BasicLSTMCell() 这个函数实现的最基本的LSTM函数的功能，即上面说的功能，不加peephole...
关于tensorflow里面的tf.contrib.rnn.BasicLSTMCell 中num_units参数问题
小沫_jie的博客
05-24 1万+
这里的num_units参数并不是指这一层油多少个相互独立的时序lstm，而是lstm单元内部的几个门的参数，这几个门其实内部是一个神经网络，答案来自知乎： class TRNNConfig(object): """RNN配置参数""" # 模型参数 embedding_dim = 100 # 词向量维度 seq_length = 100 ...
记录tf.contrib.rnn.BasicLSTMCell
qq_32791307的博客
06-02 5647
将所有tf.nn.rnn_cell更改为tf.contrib.rnn。Class tf.contrib.rnn.BasicLSTMCellClass tf.nn.rnn_cell.BasicLSTMCellArgs:num_units: int, The number of units in the LSTM cell.神经元数量forget_bias: float, The bias added...
tf.contrib.rnn.BasicLSTMCell, tf.contrib.rnn.MultiRNNCell深度解析
JohnSon
04-23 2万+
tf.contrib.rnn.BasicRnnCell首先来看看BasicRNNCell的源码class BasicRNNCell(RNNCell): """The most basic RNN cell.""" def __init__(self, num_units, input_size=None, activation=tanh, reuse=None): if input_s
TensorFlow: 1.x将长时间保持主流
luv_dusk 的博客
01-11 982
Tensorflow 2.0版本虽然推出已有些时日了，前两天 2.1 版本也已经放出来了，但笔者基于一些猜想，一直兴趣乏匮。今天读了读官方说明书，又在一些网站看了看先锋人士的使用体会，果不其然。最终得出结论：**熟悉 TF1.x 的开发者们暂时没有必要切换到 2.x 版本**。具体地，我分为以下几个方面来讨论。
WARNING:tensorflow: The TensorFlow contrib module will not be included in TensorFlow 2.0. For more information, please see: * https://github.com/tensorflow/community/blob/master/rfcs/20180907-contrib-sunset.md * https://github.com/tensorflow/addons * https://github.com/tensorflow/io (for I/O related ops) If you depend on functionality not listed there, please file an issue. Welcome to DeepMusic v0.1 ! TensorFlow detected: v1.15.0 usage: ipykernel_launcher.py [-h] [--test [{all,daemon,interactive}]] [--reset] [--keep_all] [--model_tag MODEL_TAG] [--sample_length SAMPLE_LENGTH] [--root_dir ROOT_DIR] [--device DEVICE] [--temperature TEMPERATURE] [--dataset_tag DATASET_TAG] [--create_dataset] [--play_dataset [PLAY_DATASET]] [--ratio_dataset RATIO_DATASET] [--batch_builder BATCH_BUILDER [BATCH_BUILDER ...]] [--enco_cell ENCO_CELL [ENCO_CELL ...]] [--deco_cell DECO_CELL [DECO_CELL ...]] [--hidden_size HIDDEN_SIZE] [--num_layers NUM_LAYERS] [--scheduled_sampling SCHEDULED_SAMPLING [SCHEDULED_SAMPLING ...]] [--target_weights [{none,linear,step}]] [--loop_processing LOOP_PROCESSING [LOOP_PROCESSING ...]] [--num_epochs NUM_EPOCHS] [--save_every SAVE_EVERY] [--batch_size BATCH_SIZE] [--learning_rate LEARNING_RATE [LEARNING_RATE ...]] [--testing_curve TESTING_CURVE] ipykernel_launcher.py: error: unrecognized arguments: --f=c:\Users\Lenovo\AppData\Roaming\jupyter\runtime\kernel-v3b6e6a00380ee47502a3b1c48448e5e979138240b.json
最新发布
05-12
3. **修改导入语句**：例如，将`from tensorflow.contrib import rnn`改为`from tensorflow.python.ops import rnn_cell`或者使用兼容性模块`tf.compat.v1`。 4. **重构代码使用核心API**：例如，替换tf....
import tensorflow as tf import tensorflow.contrib.slim as slim class ConvRNNCell(object): def __call__(self, inputs, state, scope=None): raise NotImplementedError("Abstract method") @property def state_size(self): raise NotImplementedError("Abstract method") @property def output_size(self): raise NotImplementedError("Abstract method") def zero_state(self, batch_size, dtype): shape = self.shape num_features = self.num_features zeros = tf.zeros([batch_size, shape[0], shape[1], num_features * 2]) return zeros class BasicConvLSTMCell(ConvRNNCell): def __init__(self, shape, filter_size, num_features, forget_bias=1.0, input_size=None, state_is_tuple=False, activation=tf.nn.tanh): if input_size is not None: logging.warn("%s: The input_size parameter is deprecated.", self) self.shape = shape self.filter_size = filter_size self.num_features = num_features self._forget_bias = forget_bias self._state_is_tuple = state_is_tuple self._activation = activation @property def state_size(self): return (LSTMStateTuple(self._num_units, self._num_units) if self._state_is_tuple else 2 * self._num_units) @property def output_size(self): return self._num_units def __call__(self, inputs, state, scope='convLSTM'): """Long short-term memory cell (LSTM).""" with tf.variable_scope(scope or type(self).__name__): # "BasicLSTMCell" # Parameters of gates are concatenated into one multiply for efficiency. if self._state_is_tuple: c, h = state else: c, h = tf.split(state, 2, 3) concat = _conv_linear([inputs, h], self.filter_size, self.num_features * 4, True) # i = input_gate, j = new_input, f = forget_gate, o = output_gate i, j, f, o = tf.split(concat, 4, 3) new_c = (c * tf.nn.sigmoid(f + self._forget_bias) + tf.nn.sigmoid(i) * self._activation(j)) new_h = self._activation(new_c) * tf.nn.sigmoid(o) if self._state_is_tuple: new_state = LSTMStateTuple(new_c, new_h) else: new_state = tf.concat([new_c, new_h], 3) return new_h, new_state def _conv_linear(args, filter_size, num_features, bias, bias_start=0.0, scope=None): dtype = [a.dtype for a in args][0] with slim.arg_scope([slim.conv2d], stride=1, padding='SAME', activation_fn=None, scope=scope, weights_initializer=tf.truncated_normal_initializer(mean=0.0, stddev=1.0e-3), biases_initializer=bias and tf.constant_initializer(bias_start, dtype=dtype)): if len(args) == 1: res = slim.conv2d(args[0], num_features, [filter_size[0], filter_size[1]], scope='LSTM_conv') else: res = slim.conv2d(tf.concat(args, 3), num_features, [filter_size[0], filter_size[1]], scope='LSTM_conv') return res 解释一下这些
03-21
嗯，用户让我解释这段TensorFlow代码，看起来是关于ConvLSTM的实现。首先，我需要理解整个代码的结构和各个部分的功能。让我仔细看看。 首先，用户导入了tensorflow和slim模块。然后定义了一个ConvRNNCell类，这...
唐宇迪之tensorflow学习笔记项目实战(LSTM情感分析)
物理小乾乾
01-06 1万+
我们首先来看看RNN的网络结构，如下图所示 xt{x_t}表示第t,t=1,2,3…步(step)的输入 st{s_t}为隐藏层的第t步的状态，它是网络的记忆单元。 st=f(u×xt+w×st−1){s_t} = f\left( {u \times x{}_t + w \times {s_{t - 1}}} \right)，其中f一般是非线性的激活函数 ot{o_t}是第t步的输出，如下个单词的向
tf.contrib.rnn.BasicLSTMCell()中间程序解释
qian_fighting的博客
01-04 1820
data = tf.reshape(x,[-1, 16, 16])     #lstmUnits = 64     lstmCell = tf.contrib.rnn.BasicLSTMCell(lstmUnits)     lstmCell = tf.contrib.rnn.DropoutWrapper(cell=lstmCell, output_keep_prob=keep_prob)    ...
tf.compat.v1.nn.rnn_cell.BasicLSTMCell
Fwuyi的博客
07-08 555
可能已经弃用，现在用的是 tf.compat.v1.nn.rnn_cell.LSTMCell tf.compat.v1.nn.rnn_cell.LSTMCell num_units,LSTM单元数
tf.nn.rnn_cell.BasicLSTMCell函数用法
热门推荐
UESTC_C2_403的博客
06-16 2万+
tf.nn.rnn_cell.BasicLSTMCell(n_hidden, forget_bias=1.0, state_is_tuple=True): n_hidden表示神经元的个数，forget_bias就是LSTM们的忘记系数，如果等于1，就是不会忘记任何信息。如果等于0，就都忘记。state_is_tuple默认就是True，官方建议用True，就是表示返回的状态用一个元祖表示。这个里
DL之LSTM：tf.contrib.rnn.BasicLSTMCell(rnn_unit)函数的解读
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
04-10 5949
DL之LSTM：tf.contrib.rnn.BasicLSTMCell(rnn_unit)函数的解读 目录 tf.contrib.rnn.BasicLSTMCell(rnn_unit)函数的解读 函数功能解读 函数代码实现 tf.contrib.rnn.BasicLSTMCell(rnn_unit)函数的解读 函数功能解读 """Basic LS...
关于tf.contrib.rnn.BasicLSTMCell中的c_state与m_state的理解
qq_28053699的博客
07-29 851
class BasicRNNCell(RNNCell): """The most basic RNN cell.""" def __init__(self, num_units, input_size=None, activation=tanh, reuse=None): if input_size is not None: logging.warn("%s: The...
tensorflow学习之LSTMCell详解
大雄没有叮当猫的博客
09-22 2万+
Class tf.contrib.rnn.LSTMCell 继承自：LayerRNNCell Aliases: Class tf.contrib.rnn.LSTMCell Class tf.nn.rnn_cell.LSTMCell 长短时记忆单元循环网络单元。默认的non-peephole是基于http://www.bioinf.jku.at/publications/older/2604...
深度学习原理与框架-递归神经网络-RNN_exmaple(代码) 1.rnn.BasicLSTMCell(构造基本网络) 2.tf.nn.dynamic_rnn(执行rnn网络) 3.tf.expa...
weixin_34209406的博客
03-18 231
1. rnn.BasicLSTMCell(num_hidden) # 构造单层的lstm网络结构 参数说明：num_hidden表示隐藏层的个数 2.tf.nn.dynamic_rnn(cell, self.x, tf.float32) # 执行lstm网络，获得state和outputs 参数说明：cell表示实例化的rnn网络，self.x表示输入层，tf.float32表示类型 3...
RNNCell、BasicRNNCell、BasicLSTMCell、LSTMCell、GRUCell
lty_sky的专栏
03-15 2457
1、学习单步的RNN：RNNCell、BasicRNNCell、BasicLSTMCell、LSTMCell、GRUCell （1）RNNCell 如果要学习TensorFlow中的RNN，第一站应该就是去了解“RNNCell”，它是TensorFlow中实现RNN的基本单元，每个RNNCell都有一个call方法，使用方式是：(output, next_state) = call(input...
tensorflow.contrib.rnn下载
03-05
很抱歉，但是我必须告诉你，tensorflow.contrib.rnn已经在TensorFlow 2.0版本中被弃用了。在TensorFlow 2.0及更高版本中，RNN模型的实现已经被整合到tf.keras.layers中。 如果你想使用RNN模型，可以通过tf.keras....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值