TensorFlow2 关于设置变量是否trainable的难懂点

最新推荐文章于 2023-07-04 14:33:45 发布
最新推荐文章于 2023-07-04 14:33:45 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： tensorflow应用 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/qq_43309133/article/details/122284667
版权

复杂模型的建立，可以是Model类型里面嵌套Model类型的Layer type，比如：
在这里插入图片描述
这就会导致层次结构很深。当想要设置深层的权重是否可训练的时候，不要以为把最内层的layer.trainable=True即可了，这还是不够的，因为TensorFlow2 的层次结构的trainable状态是独立的，外层的状态不会因为你对内层的状态改变而自动调整。
正确的做法是把外层外层model(layer)设置为 layer.trainable=True，这时它所有的内层都自动变为trainable=True，把不需要train的内层设置为trainable=False.

Tensorflow 2.x源码详解之第二章：变量的详细讲解
weixin_43178406的博客
01-26 1万+
本文主要介绍了Tensorflow 2.x源码详解之第二章：变量的详细讲解，希望能对学习TensorFlow 2的同学有所帮助。 文章目录 1. 前言 2. 变量的创建 3. 变量的重新赋值 4. 变量设备的选择
统计tensorflow中trainable参数的数量，计算方法举例子如下：
一路向北
12-04 2048
#!/usr/bin/python # -*- coding:utf8 -*- import pandas as pd import numpy as np import tensorflow as tf import cv2 import config as cfg def model(x): conv1=tf.layers.conv2d(inputs=x,filters=20...
tf.keras与 TensorFlow混用，trainable=False设置无效
wzg2016的博客
03-26 838
目录 一个简单的例子 另外一个例子：来自KerasLayer trainable=false seems to have no effect 解决的办法 一个简单的例子 import tensorflow.compat.v1 as tf from tensorflow.keras.layers import Conv2D input = tf.ones([5, 5, 5, 5]) with tf.variable_scope('z'): z = tf.Variable(tf.z.
TensorFlow 学习 - 变量
Xcy的博客
05-31 375
变量是存储和更新参数的。变量会被放入内存中。 变量的创建和初始化： 函数Variable()，初始值可以是随机值也可以是常量，初始值需要制定shape，通常shape是固定的，但是也可以通过一些高级方法调整。创建变量之后需要定义一个初始化的操作，而且在使用任何变量之前需要运行初始化的操作。 例如：   import tensorflow as tf #创建变量并指定shape
tensorflow动态设置trainable
11-17 1564
tensorflow中定义的tf.Variable时，可以通过trainable属性控制这个变量是否可以被优化器更新。但是，tf.Variable的trainable属性是只读的，我们无法动态更改这个只读属性。在定义tf.Variable时，如果指定trainable=True，那么会把这个Variable添加到“可被训练的变量”集合中。 把trainable指定为布尔变量是不管用的，t...
深度学习debug---tensorflow设置trainable
xys430381_1的专栏
07-05 1317
tf.Variable或者tf.get_variable中，trainable只在定义变量的那一瞬间有用，在此后（如reuse）把trainable指定为布尔变量是不起作用的。 Tensorflow中定义的时，可以通过trainable属性控制这个变量是否可以被优化器更新。 但是在以后的使用中，trainable属性是只读的，我们无法动态更改这个只读属性。 如上图所示，通过调试器观察tens...
TensorFlow定义"学习参数"的变量
实践求真知
04-15 2243
学习参数的定义与输入的定义很像，分为直接定义和字典定义两部分。这两种都是常见的使用方式，只不过在深层神经网络里由于参数过多，普遍使用第二种情况。一 直接定义1 说明通过tf.Variable可以对参数直接定义。2 示例# 模型参数 W = tf.Variable(tf.random_normal([1]), name="weight") b = tf.Variable(tf.zeros([1]),...
【tensorflow】打印Tensorflow graph中的所有需要训练的变量--tf.trainable_variables()
热门推荐
Shwan_ma的博客
12-23 2万+
一般来说，打印tensorflow变量的函数有两个： tf.trainable_variables () 和 tf.all_variables() 不同的是： tf.trainable_variables () 指的是需要训练的变量 tf.all_variables() 指的是所有变量一般而言，我们更关注需要训练的训练变量： 值得注意的是，在输出变量名时，要对整个graph进行初始化一、打
解决Keras TensorFlow 混编中 trainable=False设置无效问题
09-16
这是因为TensorFlow的优化器默认会针对所有`tf.trainable_variables()`进行权值更新，而这些变量可能包括了设置为非训练状态的Keras层。 在问题描述中，用户尝试将预训练的VGG16模型（一个不包含顶部分类层的版本）...
tensorflow创建变量以及根据名称查找变量
09-20
在TensorFlow中，创建变量是构建计算图的基本操作，它允许你在执行过程中持久化状态。本文将深入探讨如何使用`tf.Variable`和`tf.get_variable`来创建变量，并讲解如何根据名称查找变量。 首先，`tf.Variable`是一...
Tensorflow 获取model中的变量列表
NOT_GUY的博客
07-02 829
1、动态获取 + 朴素获取法 + 朴素获取可训练变量：t_vars = tf.trainable_variables() + 朴素获取全部变量，包含声明training=False变量：all_vars = tf.global_variables() + 使用tensorflow.contrib.slim + 获取常规变量(是slim里面与model变量对应的一个类型)：regular_variables = slim.get_variable...
tensorflow打印所有变量名_tensorflow 获取变量&打印权值的实例讲解
weixin_31147757的博客
01-30 671
在使用tensorflow中，我们常常需要获取某个变量的值，比如：打印某一层的权重，通常我们可以直接利用变量的name属性来获取，但是当我们利用一些第三方的库来构造神经网络的layer时，存在一种情况：就是我们自己无法定义该层的变量，因为是自动进行定义的。比如用tensorflow的slim库时：def resnet_stack(images, output_shape, hparams, sco...
tensorflow之让变量不可训练
qq_33345917的博客
12-13 3951
import tensorflow as tf import numpy as np with tf.variable_scope(“xyz”) as scop: a=tf.get_variable(“a”,shape=[2],trainable=False) b=tf.get_variable(“b”,shape=[2]) c=tf.get_variable(“c”,shape=[2]) pri...
tensorflow没有这个参数_关于TensorFlow动态设置trainable的问题
weixin_33613571的博客
01-01 469
这个问题是在项目中遇到的一个问题，即“如何在训练过程中动态的控制哪些参数更新，哪些不更新”。我们知道tensorflow的计算图是静态的，tensorflow中定义的tf.Variable时，可以通过trainable属性控制这个变量是否可以被优化器更新。但是，tf.Variable的trainable属性是只读的，我们无法动态更改这个只读属性。在定义tf.Variable时，如果在定...
Tensorflow---tf.Variable中参数trainable的作用
weixin_42206075的博客
12-03 2416
Tensorflow—tf.Variable中参数trainable的作用 在tf.variable参数中有一个参数是***trainable***，这个参数的意思就是在模型训练的时候是否会更新这个参数。当时就觉得这个参数很神奇，竟然有这么厉害的东西存在； 其实，在后续做迁移训练的时候，大部分情况下，会保留部分的参数，因为那些参数已经训练的很好了~ 这个时候，trainable的作用就体现出来了。 我在网上简单的搜了下官方对这个参数的理解，可以总结如下： 设定trainable=False 可以防止该变量
深度学习学习笔记——tensorflow中的tf.Variable与函数trainable_variable及冻结网络
phily123的博客
06-10 1555
tensorflow中tf.constant()往往生成常数不可变，而tf.Constant()往往生成变量（如神经网络中待训练的权重与偏置参数），之所以可变是因为这个函数有一个参数，trainable默认为True(trainable=True)。 Model.trainable_variables 可返回modle中所有的可训练参数，通常使用在梯度下降法时，如： with tf.GradientTape() as t: z = tf.random.normal(shape=(ar
三句话理解tensorflow GAN中判别器trainable=False的风骚操作
weixin_42670810的博客
09-16 1616
第一句 trainable 是层Layer上的属性，看源码就知道无论判别器还是生成器所创建的模型Model都是继承于Layer的。 第二句 trainable的作用就是绝定该层在训练时是否更新权重。当为True时则更新，为False时不更新 第三句 编译过后的模型其结构固定不会再变，直到再次编译，所以联合模型(对抗模型)编译前记录的是trainable=False的判别模型结构，与在默认trainable=True状态下编译后的判别模型本身没关系， 它们是两个模型。 怎么理解？ 创建的模型都需要经过编译co
Tensorflow入门（1）——深度学习框架Tesnsflow入门 & 环境配置 & 认识Tensorflow
Arya的博客，专注后端领域
07-04 2851
2、 tf.app.flags.,在flags有一个FLAGS标志，它在程序中可以调用到我们前面具体定义的flag_name3、通过tf.app.run()启动main(argv)函数# 定义命令行参数# 1 、首先定义有哪些参数需要在运行时候指定# 2 、程序当中获取定义命令行参数。
tensorflow2.x加载预训练模型
sslfk的博客
01-06 1291
tensorflow的预训练模型网址为：https://hub.tensorflow.google.cn 已经下载好的预训练模型：bert_zh_L-12_H-768_A-12的v4版本（链接：https://pan.baidu.com/s/1Ld_mvXf8Es4lwCaW1PgKsQ 提取码：3xba）和bert_zh_preprocess的v3版本（链接：https://pan.baidu.com/s/1jseOQKlVj88-Hpak2PXsCw 提取码：s9eq） 模型离线加载： im..
AttributeError: module 'tensorflow' has no attribute 'trainable_variables'
最新发布
01-09
在TensorFlow中，`AttributeError: module 'tensorflow' has no attribute 'trainable_variables'`错误通常是由于使用了过时的TensorFlow版本或者代码中存在错误导致的。为了解决这个问题，你可以尝试以下几种方法： 1. 确保你使用的是最新版本的TensorFlow。你可以使用以下命令升级TensorFlow： ```shell pip install --upgrade tensorflow ``` 2. 检查你的代码中是否存在拼写错误或者语法错误。确保你正确地导入了`tensorflow`模块，并且使用了正确的属性名。 3. 如果你的代码中使用了过时的API，例如`tf.trainable_variables`，你可以尝试使用新的API替代。在TensorFlow 2.0及以上版本中，可以使用`tf.compat.v1.trainable_variables`来获取可训练的变量。 下面是一个示例代码，演示了如何使用新的API来获取可训练的变量： ```python import tensorflow as tf # 定义一个简单的模型 model = tf.keras.Sequential([ tf.keras.layers.Dense(10, input_shape=(10,), activation='relu'), tf.keras.layers.Dense(1, activation='sigmoid') ]) # 获取可训练的变量 trainable_vars = model.trainable_variables # 打印可训练的变量 for var in trainable_vars: print(var.name) ``` 这段代码会输出模型中所有可训练的变量的名称。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值