对LSTMStateTuple的理解

最新推荐文章于 2020-04-24 11:56:29 发布
原创 最新推荐文章于 2020-04-24 11:56:29 发布 · 7.4k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了LSTMStateTuple这一特殊的数据类型，它是为LSTM单元设计的，用于存储state_size、zero_state及output_state等关键状态信息。

LSTMStateTuple是一种特殊的 "二元组数据类型" ,它专门用来存储LSTM单元的state_size/zero_state/output_state.


使用 Python 的 LSTM 进行股市预测
gongdiwudu的专栏
04-08 4632
​在本教程中，您将了解如何使用称为长短期记忆的时间序列模型。 LSTM 模型非常强大，尤其是在设计上保留长期记忆，正如您稍后将看到的。您将在本教程中解决以下主题： 了解为什么您需要能够预测股价走势； 下载数据 - 您将使用从雅虎财经收集的股票市场数据； 分割训练测试数据并执行一些数据标准化； 回顾并应用一些可用于一步预测的平均技术； 激发并简要讨论LSTM 模型，因为它可以提前预测不止一步； 利用当前数据预测和可视化未来股市 ​
Use Eager execution or decorate this function with @tf.function.
NLP与推荐算法
05-08 4597
error如下： File "D:\python\lib\site-packages\tensorflow_core\python\framework\ops.py", line 547, in __iter__ self._disallow_iteration() File "D:\python\lib\site-packages\tensorflow_core\python\framework\ops.py", line 543, in _disallow_iteration
LSTM中state 与 output关系
xiaokang06的专栏
05-08 9047
本文通过简单的实验说明lstm中 state与output之间的关系假设参数如下：batch_size = 4 # 训练语料中一共有4句话sequeue_len = 5 # 每句话只有5个词语ebedding = 6 # 每个词语的词向量维度为 6hidden_size = 10 # 神经元个数为10(1)output说明    首先，比方说我们训练语料一共有4句话，每句话有5个词语，每个词语eb...
tensorflow学习之LSTMStateTuple详解
大雄没有叮当猫的博客
09-22 8454
Class LSTMStateTuple Aliases: Class tf.contrib.rnn.LSTMStateTuple Class tf.nn.rnn_cell.LSTMStateTuple 用于存储LSTM单元的state_size,zero_state和output state的元组。按顺序存储两个元素(c,h),其中c是隐藏状态，h是输出。只有在state_is_tuple...
自学笔记：LSTM理论联系实际的TENSORFLOW代码研究, state和ouput的数据结构
andyzou221312的博客
11-10 996
看了一些讲述LSTM的原理，基本上搞清楚了，不过需要理解代码还有一段路要走。 网上找了一个最简单的示例，不过无法在tensorflow1.3运行，花了一些时间，解决了兼容问题，下面的代码可以运行。 #运行版本，tensorflow1.4  #源代码从网上COPY的示例改编，原来的示例无法在tensorflow1.3以上运行 import tensorflow as tf;   impor
TensorFlow 中 RNN&LSTM 的使用
Man
06-04 3866
一、RNN&LSTM 基类 1、RNN 基类 class tf.contrib.rnn.BasicRNNCell(num_units, activation=None, reuse=None, name=None) 输入参数： num_units： int, the number of units in the RNN cell. activat...
lstm的tensorflow代码实现几个函数的源码及解释
yolan6824的博客
02-09 1504
对这三行代码： 1.tf.contrib.rnn.BasicLSTMCell 总的来说，这个函数就是用来计算cell里面的运算的，比如加入三个门的计算，对应于所有列出的lstm的公式，如果说对应于普通的神经元，就相当于w*x+b这一步运算。 源码： @tf_export("nn.rnn_cell.BasicLSTMCell") class BasicLSTMCell(LayerRN...
理解LSTM网络
Microstrong
04-30 1534
目录： LSTM网络 LSTM前向传播算法 LSTM反向传播算法 思考几个问题 LSTM的变体 Reference 1. LSTM网络 LSTM是一种特殊的RNN，可以解决长期依赖的问题。它是由Hochreiter和Schnidhuber提出的，后来被很多人改进和推广，并在各种各样的问题上工作得非常好，现在被广泛的应用。 明确来说，设计LSTM主要就是为了解决长期依赖的问题，它的本质就是能够记...
对seq2seq的一些个人理解
Zsaang的博客
05-10 8072
对seq2seq的一些个人理解 因为做毕设用到seq2seq框架，网上关于seq2seq的资料很多，但关于seq2seq的代码则比较少，阅读tensorflow的源码则需要跳来跳去比较麻烦（其实就是博主懒）。踩了很多坑后，形成了一些个人的理解，在这里记录下，如果有人恰好路过，欢迎指出错误~
LSTM中的hidden_size/input_size/time_step/batch_size的理解
weixin_45032780的博客
04-24 1万+
LSTM模块的实现 最近在尝试实现一个简单的LSTMCell，源码中看似只是简单地调用一下： tf.contrib.rnn.BasicLSTMCell() 实际上包含了很多没有弄明白地方。我想把这个学习过程完整地记录一遍。 首先，构建LSTM单元需要导入： import tensorflow as tf import numpy as np 还是看看输入到底是什么 上周的报告已经提到，LSTM...
理解tf.nn.rnn_cell
GaoJieVery6
09-01 2484
一、学习单步的RNN：RNNCell 如果要学习TensorFlow中的RNN，第一站应该就是去了解“RNNCell”，它是TensorFlow中实现RNN的基本单元，每个RNNCell都有一个call方法，使用方式是：(output, next_state) = call(input, state)。 借助图片来说可能更容易理解。假设我们有一个初始状态h0，还有输入x1，调用call(x1,...
tensorflow学习笔记（六）：LSTM 与 GRU
木东的博客
02-21 2632
[10.26.2016 更新] [新增内容：今天写代码的时候，如果使用state_is_tuple=True, 那么 initial_state = lstm_cell.zero_state(batch_size, dtype=tf.float32) ... with tf.Session() as sess: tf.initialize_all_variables().run()
Tensorflow LSTM state_is_tuple 参数
Eric_LH的博客专栏
04-16 3209
tf.contrib.rnn.BasicLSTMCell(self.config.hidden_dim, state_is_tuple=True) state_is_tuple 官方建议设置为True。此时，输入和输出的states为c(cell状态)和h（输出）的二元组 输入、输出、cell的维度相同，都是 batch_size * num_units，...
LSTM中的cell state 和 hidden state
yscoder的博客
06-18 1万+
TensorFlow中使用tf.contrib.rnn.BasicLSTMCell（）的方法来搭建LSTM网络，其中有一项参数为state_is_tuple，官方建议设置为True，这个参数的实际就是使LSTM的state以tuple的形式输出，shape为batch size和num_step,也就是min batch的大小和LSTM展开的步数，而state分为c与h，c为cell state，...
tensorflow学习笔记（三十七）：如何自定义LSTM的initial state
Keith
03-21 1万+
如何初始化LSTM的stateLSTM 需要 initial state。一般情况下，我们都会使用 lstm_cell.zero_state()来获取 initial state。但有些时候，我们想要给 lstm_cell 的 initial state 赋予我们想要的值，而不是简单的用 0 来初始化，那么，应该怎么做呢？ 当然，当我们设置了state_is_tuple=False的时候，是很简单
TensorLayer 当 LSTM 设为 state_is_tuple 时该如何迭代。
zsdh123的博客
08-10 5411
代码分析，TensorLayer 如何解决 TensorFlow 中当 LSTM state is tuple 的迭代问题？
解读tensorflow之rnn
热门推荐
slamer的专栏
09-02 9万+
from: http://lan2720.github.io/2016/07/16/%E8%A7%A3%E8%AF%BBtensorflow%E4%B9%8Brnn/ 这两天想搞清楚用tensorflow来实现rnn/lstm如何做，但是google了半天，发现tf在rnn方面的实现代码或者教程都太少了，仅有的几个教程讲的又过于简单。没办法，只能亲自动手一步步研究官方给出的代码了。 本文研
【Tensorflow 大马哈鱼】构造LSTM超长简明教程
lyb3b3b的专栏
12-27 834
参考:Module: tf.nn.rnn_cell tf.contrib.rnn.LSTMCell     tf.nn.rnn_cell.LSTMCell      目前1.8版本这两个都可以，tf.contrib.rnn为主，贡献阶段，tf.nn.rnn_cell中还仅仅是目录和链接。 到了1.12版本，LSTMCell,RNNCell等常用单元已搬迁至tf.nn.rnn_cell。 ...
TensorFlow学习（十三）：构造LSTM超长简明教程
谢小小XH
12-19 3万+
参考: Module: tf.contrib.cudnn_rnn Module: tf.contrib.rnn 更新: 2017.12.25 增加了tf.nn.embedding_lookup 来进行embedding的内容 2018.1.14 增加tf.sequence_mask和tf.boolean_mask 来对于序列的padding进行去除的...
class ConvRNNCell(object): def __call__(self, inputs, state, scope=None): raise NotImplementedError("Abstract method") @property def state_size(self): raise NotImplementedError("Abstract method") @property def output_size(self): raise NotImplementedError("Abstract method") def zero_state(self, batch_size, dtype): shape = self.shape num_features = self.num_features zeros = tf.zeros([batch_size, shape[0], shape[1], num_features * 2]) return zeros class BasicConvLSTMCell(ConvRNNCell): def __init__(self, shape, filter_size, num_features, forget_bias=1.0, input_size=None, state_is_tuple=False, activation=tf.nn.tanh): if input_size is not None: logging.warn("%s: The input_size parameter is deprecated.", self) self.shape = shape self.filter_size = filter_size self.num_features = num_features self._forget_bias = forget_bias self._state_is_tuple = state_is_tuple self._activation = activation @property def state_size(self): return (LSTMStateTuple(self._num_units, self._num_units) if self._state_is_tuple else 2 * self._num_units) @property def output_size(self): return self._num_units def __call__(self, inputs, state, scope='convLSTM'): """Long short-term memory cell (LSTM).""" with tf.variable_scope(scope or type(self).__name__): # "BasicLSTMCell" # Parameters of gates are concatenated into one multiply for efficiency. if self._state_is_tuple: c, h = state else: c, h = tf.split(state, 2, 3) concat = _conv_linear([inputs, h], self.filter_size, self.num_features * 4, True) # i = input_gate, j = new_input, f = forget_gate, o = output_gate i, j, f, o = tf.split(concat, 4, 3) new_c = (c * tf.nn.sigmoid(f + self._forget_bias) + tf.nn.sigmoid(i) * self._activation(j)) new_h = self._activation(new_c) * tf.nn.sigmoid(o) if self._state_is_tuple: new_state = LSTMStateTuple(new_c, new_h) else: new_state = tf.concat([new_c, new_h], 3) return new_h, new_state filter_size是怎么定义的
最新发布
03-23
<think>嗯，用户的问题是关于`BasicConvLSTMCell`中的`filter_size`是如何定义的。我需要先仔细看一下用户提供的代码，理解其中的结构和变量，然后才能准确回答。 首先，用户展示了一个`ConvRNNCell`基类，其中包含了`__call__`、`state_size`、`output_size`和`zero_state`等方法。接着是`BasicConvLSTMCell`类，继承自`ConvRNNCell`。在`__init__`方法中，参数有`shape`, `filter_size`, `num_features`等。用户的问题集中在`filter_size`的定义上。 我需要回忆一下ConvLSTM的相关知识。ConvLSTM是LSTM的卷积版本，用于处理时空数据，比如视频预测等。传统的LSTM使用全连接层，而ConvLSTM用卷积操作替代，这样可以保留空间信息。 在标准的LSTM中，输入和状态通过全连接层进行组合，生成四个门（输入门、遗忘门、输出门、新输入）。而在ConvLSTM中，这些全连接层被卷积层替代。这里的`filter_size`应该指的是卷积核的大小，类似于CNN中的kernel size。 接下来，查看用户提供的`BasicConvLSTMCell`的`__call__`方法。在代码中，`_conv_linear`函数被调用，传入`[inputs, h]`作为输入，`filter_size`作为卷积核大小，`num_features *4`作为输出通道数。这里，四个门是通过将卷积后的结果分割成四部分得到的，所以每个门的卷积核应该是相同的，即使用相同的`filter_size`。 那么，`filter_size`的具体定义可能是一个整数或者一个元组，表示卷积核的高度和宽度。比如，在TensorFlow中，常见的做法是用`(kernel_height, kernel_width)`来定义卷积核的大小。例如，`filter_size=3`可能表示3x3的卷积核，或者用户需要显式指定为(3,3)。 再回到代码的`__init__`方法，参数`filter_size`被传入，并在后续的卷积中使用。所以，`filter_size`在这里的作用是确定卷积核的尺寸，控制感受野的大小，影响如何处理输入和隐藏状态的结合。 另外，用户可能想知道`filter_size`的参数形式，是否需要是整数还是元组。在TensorFlow的卷积操作中，通常需要指定高和宽，所以可能应该是一个元组，例如(5,5)。但如果用户传入一个整数，可能代码内部会将其转换为两个相同的维度，比如(3,3)。需要看具体的`_conv_linear`实现，但用户没有提供这部分代码，只能假设`filter_size`遵循TensorFlow的惯例。 总结，`filter_size`在`BasicConvLSTMCell`中定义了卷积核的大小，用于处理输入和隐藏状态的卷积操作，从而生成各个门控信号。它通常是两个整数的元组，如(3,3)，或者可能接受单个整数，表示两个维度相同。在初始化`BasicConvLSTMCell`时，用户需要根据数据的空间特性选择合适的`filter_size`，以捕捉有效的空间特征。</think>在卷积长短期记忆网络（ConvLSTM）中，`filter_size` 定义了卷积核（即过滤器）的**空间尺寸**。以下是分步解释： --- ### **1. `filter_size` 的作用** `filter_size` 指定了卷积核的高度和宽度，用于从输入数据和隐藏状态中提取**空间特征**。例如： - `filter_size=3` 表示使用 $3 \times 3$ 的卷积核 - `filter_size=(5,5)` 表示 $5 \times 5$ 的卷积核 --- ### **2. 在代码中的具体应用** 在 `BasicConvLSTMCell` 的 `__call__` 方法中： ```python concat = _conv_linear([inputs, h], self.filter_size, self.num_features * 4, True) ``` - `_conv_linear` 函数使用 `filter_size` 对输入 `inputs` 和隐藏状态 `h` 进行卷积操作。 - 这里的卷积核参数会被用来生成四个门控信号（输入门、遗忘门、输出门、新候选状态）。 --- ### **3. 技术细节** - **维度匹配**：假设输入数据的形状为 $(B, H, W, C)$（Batch, Height, Width, Channels），则 `filter_size` 需与空间维度 $(H, W)$ 兼容。 - **输出通道**：`num_features * 4` 是因为 LSTM 需要同时生成四个门的计算结果（i, f, o, j）。 - **参数共享**：所有门控的卷积核共享相同的 `filter_size`，但权重独立学习。 --- ### **4. 实际示例** 假设初始化一个 ConvLSTM 单元： ```python cell = BasicConvLSTMCell( shape=(64, 64), # 输入的空间尺寸 (H, W) filter_size=5, # 使用 5x5 的卷积核 num_features=128 # 输出通道数（即隐藏状态的深度） ) ``` 此时： - 每个门（i, f, o, j）的卷积核尺寸为 $5 \times 5$ - 总参数量：$4 \times (5 \times 5 \times C_{in} \times 128)$，其中 $C_{in}$ 是输入通道数。 --- ### **5. 与全连接LSTM的对比** - **传统LSTM**：使用全连接层，丢失空间信息。 - **ConvLSTM**：通过 `filter_size` 定义的卷积核，在保留空间结构的同时建模时序依赖。 --- ### **总结** `filter_size` 是 ConvLSTM 的核心参数之一，决定了卷积核的空间范围。合理选择 `filter_size`（如3x3、5x5）能平衡模型对局部特征和全局上下文的捕捉能力。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值