使用keras.layers.CuDNNGRU训练，在cpu上测试

最新推荐文章于 2024-05-23 13:53:04 发布
原创 最新推荐文章于 2024-05-23 13:53:04 发布 · 2k 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习

这篇博客探讨了在使用Keras进行深度学习时，如何从利用GPU优化的CuDNNGRU层过渡到CPU友好的GRU层。作者详细解释了在GPU上训练模型时使用CuDNNGRU的优势，以及在CPU测试阶段如何通过GRU层保持模型的兼容性和准确性，特别提到了reset_after参数的重要性。
部署运行你感兴趣的模型镜像

在GPU上训练使用了

keras.layers.CuDNNGRU(dim)

在CPU上测试时，将keras.layers.CuDNNGRU（dim）进行了如下替换

keras.layers.GRU(dim,reset_after=True)

 

您可能感兴趣的与本文相关的镜像

PyTorch 2.6

PyTorch 2.6

PyTorch
Cuda

PyTorch 是一个开源的 Python 机器学习库，基于 Torch 库，底层由 C++ 实现，应用于人工智能领域，如计算机视觉和自然语言处理

99%的算法工程师都不知道！Tensorflow中Cudnn加速LSTM的正确打开方式
tylunas的博客
03-06 1960
在Tensorflow中，想要做到使用cuDNN在GPU上加速训练RNNs，还能用CPU进行推理，方法似乎只有两个——第一，使用tf.keras.layers.CuDNNLSTM；第二，按本文的方法使用CudnnCompatibleLSTMCell，所以用LSTMBlockFusedCell怎么样？
全面探索 TensorFlow 中的 tf.keras.layers.RNN 类及其在循环神经网络中的应用
Von_016's Blog
01-30 1561
类在 TensorFlow 中是实现循环神经网络（RNN）的一种灵活且强大的方式。这个类允许在神经网络模型中构建和操作 RNN 层，提供多种选项以满足特定需求。
keras终止训练后显存不释放_GPU训练加速原理（附KerasGPU训练技巧）
weixin_39678103的博客
11-23 612
0.深入理解GPU训练加速原理GPU是如何加速的呢？我打算从两个方面来解答：单个GPU较于CPU加速：在训练网络中，其实大量的运算资源都消耗在了数值计算上面，大部分网络训练的过程都是1.计算loss，2.根据loss求梯度，3.再根据梯度更新参数(梯度下降原理)。无论在GPU还是CPU中，都是不断重复123步。但是由于CPU是通用计算单元(并不擅长数值运行)，而GPU特长是图像处理(数值计算)。所...
keras实战-入门之RNN(GRU)自编码器
王伟王胖胖的博客
07-08 5090
@TOC RNN(GRU)自编码器 这次用RNN的自编码器来做音频的恢复。 RNN原理就不说了，可以看这篇文章 这次是用了RNN里的GRU，跟LSTM很像，但是比他训练要快点。需要librosa音频处理库，例子的音频数据集，提取码：c3oq。 import keras import numpy as np import librosa import librosa.display import o...
解决cannot import name ‘CuDNNLSTM‘和cannot import name ‘CuDNNGRU‘
qq_41904729的博客
04-14 3687
原代码： from keras.layers import CuDNNGRU, CuDNNLSTM, SpatialDropout1D 报错： ImportError:cannot import name ‘CuDNNGRU‘ 分开引入： from keras.layers import CuDNNGRU from keras.layers import CuDNNLSTM from keras.layers import SpatialDropout1D 报错： ImportErro
TensorFlow使用Cudnn实现模型
drivingDD的博客
05-23 1004
用于 canonical-to-params-to-specific 转换的函数..用于 canonical-to-params-to-specific 转换的函数..用于 canonical-to-params-to-specific 转换的函数..用于 canonical-to-params-to-specific 转换的函数.用于 specific-to-canonical 转换的函数.用于 specific-to-canonical 转换的函数.将特定格式的 cuDNN 的参数转换为规范格式.
关于keras中keras.layers.merge的用法说明
12-17
在Keras库中，`keras.layers.merge`是用于合并两个或多个层的输出，它在旧版本的Keras中被广泛使用。然而，随着Keras的发展，这个模块已经被简化和重构，现在的版本中，合并操作通常通过`concatenate`函数来完成。...
关于keras.layers.Conv1D的kernel_size参数使用介绍
01-19
今天在用keras添加卷积层的时候，发现了kernel_size这个参数不知怎么理解，keras中文文档是这样描述的： kernel_size: 一个整数，或者单个整数表示的元组或列表， 指明 1D 卷积窗口的长度。 又经过多方查找，大体...
tf.keras.layers.Layer自定义层
12-20
class MyLayer(tf.keras.layers.Layer): def __init__(self, output_dim, **kwargs): self.output_dim = output_dim super(MyLayer, self).__init__(**kwargs) def build(self, input_shape): # Create a ...
cuDNN 5对RNN模型的性能优化
happytofly的博客
05-09 3239
原文：Optimizing Recurrent Neural Networks in cuDNN 5 作者：Jeremy Appleyard 翻译：赵屹华 审校：刘翔宇 责编：周建丁（zhoujd@csdn.net） 在GTC2016大会上，NVIDIA发布了最新版本的深度学习开发包，其中包括了cuDNN 5。第五代cuDNN引入了新的特性，提升了性能，并且支持最新一代的...
基于GRU和am-softmax的句子相似度模型 | 附代码实现
Paper weekly
07-30 2495
作者丨苏剑林单位丨广州火焰信息科技有限公司研究方向丨NLP，神经网络个人主页丨kexue.fm前言：搞计算机视觉的朋友会知道，am-softmax 是人脸识别中的成果。所...
Tensorflow tf.keras.layers.GRU
Claroja
08-21 7561
init __init__( units, activation='tanh', recurrent_activation='sigmoid', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal', bias_initia...
keras的使用流程
Ezrealmore
10-20 2万+
前文了解了keras的重要模块后，我们就可以使用keras了：1、构造数据np.array两个矩阵作为训练集，一个是数据矩阵，一个是标签矩阵，我们举个例子data=np.random.random((1000,784)) labels=np.random.randint(2,size=(1000,1))通过numpy的random生成随机矩阵，数据矩阵是1000行784列的矩阵，标签矩阵是1000行
GRU - 文本情感分类
小白水手的博客
10-02 2309
代码在 给一个拥抱 上 网络结构 inp = Input(shape=(maxlen,)) x = Embedding(max_features, embed_size)(inp) x = Bidirectional(CuDNNGRU(64, return_sequences=True))(x) x = GlobalMaxPool1D()(x) x = Dense(16, activation="...
cuDNN学习笔记（4）-- 参数描述的符号
北溟客的博客
08-10 614
cuDNN采用一些约定俗成的参数符号描述方式，尤其是在API中，变量的定义就可以比较统一，上一篇介绍卷积的时候，对单纯针对卷积的参数定义进行了介绍，这里说一下其他的参数定义符号。 针对层（神经元组成）输入输出的符号如下： 层参数 定义描述 w 运算每一层使用的filter的权重 x 推理运算过程中，上一层传过来的输入数据 y 推理运算过程中，传给下一层的数据 b 卷积算子：偏置 注： 反向传播参考正向传播定义 相应的，dx,dy,dw,db 通常代表神经网络中最终输出的网络损
【tensorflow-keras-GRU】keras.layers.GRU 门限循环单元网络（Gated Recurrent Unit）
电子生医小白的博客
05-19 4081
循环层 Recurrent - Keras 中文文档 https://keras.io/zh/layers/recurrent/#gru GRU keras.layers.GRU(units, activation='tanh', recurrent_activation='hard_sigmoid', use_bias=True, kernel_initializer='glorot_uniform', recurrent_initializer='orthogonal', bias_initi.
keras踩坑记——gpu和cpu结果不同
huowa9077的博客
05-08 1万+
问题描述: 训练了大概6个epoch 模型在cpu上的loss开始出现nan，在gpu上表现正常经查找资料https://www.oschina.net/question/3683714_2266089 这位兄台和我遇到了同样的问题，然而他并没有解决https://www.zhihu.com/question/62441748这位兄台给出了一个解释，但是和我的模型问题应该不相同，因为我的RNN模型...
Keras以及Tensorflow强制使用CPU
热门推荐
silent56_th的博客
05-22 4万+
Keras如果是使用Theano后端的话，应该是自动不使用ＧＰＵ只是用ＣＰＵ的，启动ＧＰＵ使用Theano内部命令即可。 对于Tensorflow后端的Keras以及Tensorflow会自动使用可见的ＧＰＵ，而我需要其必须只运行在ＣＰＵ上。网上查到三种方法，最后一种方法对我有用，但也对三种都做如下记录： 使用tensorflow的 with tf.device('/cpu:0'):函数。简单操作
from tensorflow.keras.models import Model from tensorflow.keras.layers import Dense, Activation, Permute, Dropout from tensorflow.keras.layers import Conv2D, MaxPooling2D, AveragePooling2D from tensorflow.keras.layers import SeparableConv2D, DepthwiseConv2D from tensorflow.keras.layers import BatchNormalization from tensorflow.keras.layers import SpatialDropout2D from tensorflow.keras.regularizers import l1_l2 from tensorflow.keras.layers import Input, Flatten from tensorflow.keras.constraints import max_norm from tensorflow.keras import backend as K（全部无法导入）
最新发布
11-08
例如在 TensorFlow 2.x 版本中，`LayerNormalization` 是 `tensorflow.keras.layers` 模块的一部分，可使用以下语句导入： ```python from tensorflow.keras.layers import LayerNormalization ``` 若版本正确但仍...
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值