动态RNN和静态RNN区别

最新推荐文章于 2022-11-13 20:44:57 发布

转载最新推荐文章于 2022-11-13 20:44:57 发布 · 494 阅读

1 ·

CC 4.0 BY-SA版权

原文链接：https://www.zhihu.com/question/52200883/answer/251068217

本文深入探讨了在TensorFlow中使用static_rnn和dynamic_rnn的主要区别。static_rnn生成的图会将RNN按时间序列完全展开，导致每个batch的sequence_length必须一致。而dynamic_rnn则利用tf.while_loop实现循环，sequence_length仅影响循环次数，允许不同batch有不同的长度。

部署运行你感兴趣的模型镜像

调用static_rnn实际上是生成了rnn按时间序列展开之后的图。打开tensorboard你会看到sequence_length个rnn_cell stack在一起，只不过这些cell是share weight的。因此，sequence_length就和图的拓扑结构绑定在了一起，因此也就限制了每个batch的sequence_length必须是一致。

调用dynamic_rnn不会将rnn展开，而是利用tf.while_loop这个api，通过Enter, Switch, Merge, LoopCondition, NextIteration等这些control flow的节点，生成一个可以执行循环的图（这个图应该还是静态图，因为图的拓扑结构在执行时是不会变化的）。在tensorboard上，你只会看到一个rnn_cell, 外面被一群control flow节点包围着。对于dynamic_rnn来说，sequence_length仅仅代表着循环的次数，而和图本身的拓扑没有关系，所以每个batch可以有不同sequence_length。

链接：https://www.zhihu.com/question/52200883/answer/251068217

您可能感兴趣的与本文相关的镜像

TensorFlow-v2.9

TensorFlow

TensorFlow 是由Google Brain 团队开发的开源机器学习框架,广泛应用于深度学习研究和生产环境。它提供了一个灵活的平台,用于构建和训练各种机器学习模型

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

adafeng123456

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

深度学习算法(第16期)----静态RNN和动态RNN

春有百花秋有月，夏有凉风冬有雪！

03-27

700

上期我们一起学习了基础RNN在tensorflow中的实现深度学习三人行(第15期)----基本RNN的Tensorflow实现今天我们一起学习下静态RNN和动态RNN及其区别。1. 静...

静态与动态RNN函数比较

学习使我快乐

11-27

2589

静态与动态RNN比较Tensorflow中提供了两种创建RNN结构的函数: tf.nn.static_rnn tf.nn.dynamic_rnn 两个函数的区别如下[1]：tf.nn.static_rnn creates an unrolled graph for a fixed RNN length. That means, if you call tf.nn.static_rnn with in

参与评论您还未登录，请先登录后发表或查看评论

常见的RNN网络

qq_39809262的博客

06-07

1094

常见的RNN网络于最简单的 RNN，我们可以使用下面两种方式去调用，分别是 torch.nn.RNNCell() 和 torch.nn.RNN()，这两种方式的区别在于 RNNCell() 只能接受序列中单步的输入，且必须传入隐藏状态，而 RNN() 可以接受一个序列的输入，默认会传入全 0 的隐藏状态，也可以自己申明隐藏状态传入。 import torch from torch.autograd import Variable from torch import nn rnn_seq = nn.RN

《PyTorch深度学习实践》第 12 讲

CZQczq2001012118的博客

11-13

480

B站刘二大人《PyTorch深度学习实践》第 12 讲，RNNCell、RNN、One-hot、Embedding

Loop实现简单RNN与静态单层LSTM

"本文主要介绍了如何使用Loop结构来实现循环神经网络（RNN），特别是静态单层单向的LSTM网络，并在动态shape模式下进行操作。此外，还提到了简单ReLU激活函数的RNN网络结构，其输入输出数据与RNNv2层兼容，但去除了...

【TensorFlow】static_rnn 和dynamic_rnn的区别

人间不值得

04-02

1885

tensorflow中提供了rnn接口有两种，一种是静态的rnn，一种是动态的rnn 通常用法： 1、静态接口：static_rnn 主要使用tf.contrib.rnn x = tf.placeholder("float", [None, n_steps, n_input]) x1 = tf.unstack(x, n_steps, 1) lstm_cell = tf.contrib....

RNN知名论文

09-09

与传统的卷积神经网络（CNN）和全连接网络相比，RNN可以利用时间维度上的信息，因此对于序列数据，如时间序列、文本、音频等，它的表现往往优于静态网络。传统的神经网络（包括CNN）的API较为受限，它们接受一个...

5-RNN-02_RNN基本api

01-06

import tensorflow as tf tf.nn.rnn_cell # 定义rnn 细胞核相关的信息的 tf.nn.rnn_cell_impl #...tf.nn.static_rnn() # 单向静态rnn tf.nn.static_bidirectional_rnn() # 双向静态rnn tf.nn.dynamic_rnn() # 单向动

static_rnn 和dynamic_rnn的区别

热门推荐

luoyexuge的专栏

09-26

1万+

最近在看tensorflow的api接口，发现tensorflow中提供了rnn接口有两种，第一种是静态的rnn，另外一种是动态的rnn，这两种区别查了一些资料其中：https://stackoverflow.com/questions/39734146/whats-the-difference-between-tensorflow-dynamic-rnn-and-rnn 说的比较清楚，原文如下

LSTM构建步骤以及static_rnn与dynamic_rnn之间的区别

David's Tweet

04-08

2985

1.构建LSTM 在tensorflow中，存在两个库函数可以构建LSTM，分别为tf.nn.rnn_cell.BasicLSTMCell和tf.contrib.rnn.BasicLSTMCell，最常使用的参数是num_units，表示的是LSTM中隐含状态的维度，state_in_tuple表示将(c,h)表示为一个元组。 lstm_cell=tf.nn.rnn_cell.BasicLS...

tensorflow中dynamic_rnn与static_rnn区别

qq1483661204的博客

01-07

4750

rnn在计算变长文本的时候，使用dynamic_rnn更加节省计算量，推荐使用这个。但是这两个在使用上是有区别的，具体区别如下： static_rnn 输入的list的大小[序列长度,batch_size,embed大小]，所以一一般在经过embed层后，使用x = tf.unstack(embed, seq_len, 1)变换为[序列长度,batch_size,embed大小]，然后输入到st

RNN、RNNCell

wangxiaosu的专栏

01-30

1506

# -*- encoding: utf-8 -*- ''' @Author: Xiaosu Wang @Email: 19110240018@fudan.edu.cn @Version : 1.0 @File : rnn.py @Time : 2020-01-30 22:44 @Description : Pytorch中RNN相关源码在文件：torch/nn/modules/rn...

TensorFlow中实现RNN，彻底弄懂time_step

凌逆战的博客

09-15

906

　　这篇博客不是一篇讲解原理的博客，这篇博客主要讲解tnesorlfow的RNN代码结构，通过代码来学习RNN，以及讲解time_steps，如果这篇博客没有让你明白time_steps，欢迎博客下面评论交流。　　我曾翻阅各大网站，各大博客，他们的对RNN中time_steps的讲解，都没有一个让人醍醐灌顶的答案，甚至让人越看模糊。有的博主在博客中讲的看似他懂了，一问他自己他答不上来。...

实现一个真实的动态RNN

UESTC_201722的博客

12-28

946

提示如果代码中出现了你不懂的接口，请翻看本人博客分类中名为 “tensorflow学习”的类目中，本人肯定一定有的，这里就列取出了主要的两个接口说明，其他如果不懂的，请自己去找哈 tf.nn.dynamic_rnn详解 tf.gather,tf.range的详解代码代码来自这里，我对进行了一些接口的提升，改进 #!/usr/bin/env python # coding: utf-8 fro...

Keras使用使用动态LSTM/RNN

sailist的记录站

03-11

1407

padding： def generate(mtp = 100,batch = 50):#最长时间步，词向量长度为200，batch_size = 50 origin_input = np.random.random_sample([batch,np.random.randint(mtp/2,mtp),200])#时间长随机从mtp/2-mtp选择 return pad_sequence...

torch 循环神经网络torch.nn.RNN()和 torch.nn.RNNCell()

weixin_43918046的博客

03-08

3392

循环神经网络，处理时间序列数据的老朋友了，虽然使用不当经常带来噪声放大的问题，，，，但效果还是很可以的，比如在机器翻译任务上。这里简单介绍一下torch里面RNN模块和RNNCell模块的区别和使用，顺便回顾下循环神经网络。 torch.nn.RNN()调用的是循环神经网络最原始的形态，这种没法处理比较长的时间序列，后面的变体Lstm和GRU解决了这个问题，这里只是用torch.nn.RNN()展示一下循环神经网络的一些基本参数等信息，当然有些大神也是直接调用这个去搭建一些自己需要的网络结构。 impor

RNN的参数共享

北国觅梦

04-13

5729

RNN简介循环神经网络是一类用于处理序列数据的神经网络。就像卷积网络是专门处理网格化数据X(如一个图像)的神经网络，循环神经网络是专门用于处理序列x(1),...,x(τ)的神经网络。正如卷积网络可以很容易地扩展到具有很大宽度和高度的图像，以及处理大小可变的图像，循环网络可以扩展到更长的序列，且大多数循环网络可以处理可变长度的序列。从多层网络出发到循环网络，我们需要利用20世纪80年...

keras RNN的高级用法

cchangcs

11-14

3453

本文主要介绍循环神经网络的高级用法。本节将介绍三种用于改善循环神经网络的性能和泛化能力的高级技术。 * *Recurrent dropout 递归丢失*，一种特定的内置方法，可以使用丢失来对抗复发层中的过度拟合。 * *Stacking recurrent layers 堆叠循环层*，以增加网络的代表性能力（以更高的计算负荷为代价）。 * *Bidirectional recurrent...