【tensorflow入门】15、神经网络中变量的存储和读取---saver+restore

本文介绍了如何使用TensorFlow的Saver模块来保存和恢复神经网络的训练变量,包括存储变量的步骤和恢复时的注意事项,强调了在恢复后重启软件以避免错误的重要性。

tensorflow中允许将训练的variable存储起来,下次读取并接着训练。

存储saver:

import tensorflow as tf
import numpy as np  #使用numpy代码会省事些
#Save to file
#remember to define the same dtype and shape when restore
W = tf.Variable([[1,2,3],[3,4,5]],dtype=tf.float32,name='weights') #最好定义下dtype
b = tf.Variable([[1,2,3]],dtype=tf.float32,name='biases')

init = tf.global_variables_initializer()

#定义tensorflow的saver,用它来存储各种变量
saver = tf.train.Saver()

with tf.Session() as sess:
    sess.run(init)
#开始保存的这一步了 这里保存后会返回一个值,保存在save_path中   保存为ckpt后缀
    save_path = saver.save(sess,"my_net/save_net.ckpt")  #restore的时候会把saver换为restore
    print("Save to path:",save_path)

读取restore:

import tensorflow as tf
import numpy as np  #使用numpy代码会省事些


#restore variables
#redefine the same shape and same type for your variables 读取时的形状和数据类型必须和当初一样才能正确的导入
W = tf.Variable(np.arange(6).reshape((2,3)),dtype=tf.float32,name="weights")   #先定义一个空的、没有意义的框架,可以随便取值

#not need init step  #restore的时候不用定义initial
saver = tf.train.Saver()  #用saver来提取到文件
with tf.Session() as sess:
    saver.restore(sess,"my_net/save_net.ckpt")   #因为不用运行initial,所以可以直接提取它
    print("weights:",sess.run(W))   #看一下这两个参数
    print("biases:",sess.run(b))

#目前tensorflow只能保存variable,还不能保存整个神经网络框架 。因此可以重新定义一下框架,
#再把 variable重新放进来继续学习  

注意:

saver之后最好重启软件再运行restore,不然容易报很长的错

### TensorFlow中Variable的用法 在TensorFlow中,`tf.Variable`类用于表示可训练参数。创建一个变量非常简单,只需要指定其初始值即可[^1]。 对于TensorFlow 2.x版本而言,由于默认启用了即时执行(Eager Execution),因此可以像处理常规Python对象一样轻松地创建操作这些变量;而在TensorFlow 1.x版本里,则需通过显式的会话(session)机制来进行初始化与更新。 #### 创建并初始化变量 下面展示了一个简单的例子,说明如何定义初始化一个张量: ```python import tensorflow as tf # 定义一个常数作为初始值 initial_value = [[1., 2.], [3., 4.]] v = tf.Variable(initial_value, name="var", trainable=True) print(v.numpy()) ``` 这段代码展示了如何利用NumPy数组或其他类型的张量来设置变量的初值,并指定了该变量是否参与模型训练过程(`trainable`)属性。 #### 赋予新值给已存在的变量 除了初始化之外,还可以随时改变现有变量的内容: ```python new_value = [[5., 6.], [7., 8.]] assign_op = v.assign(new_value) print(assign_op.numpy()) ``` 这里使用了`.assign()`方法直接修改了之前创建好的变量`v`所持有的数值。 #### 使用优化器自动调整权重 当构建神经网络时,通常不需要手动更改每个参数——而是依赖于内置或自定义的优化算法完成这一工作。例如,在最小化损失函数的过程中,可以通过调用`minimize()`函数让梯度下降等策略自动调节各个层内的权值矩阵其他相关参数[^3]。 #### 存储恢复变量状态 为了能够在不同时间点之间保持学习成果不变,或者共享预训练过的模型结构及其对应的内部参数配置,TensorFlow提供了便捷的方式实现持久化的功能。这主要涉及到两个方面的工作:一是导出当前所有的全局变量到文件系统当中去;二是读取先前已经保存下来的数据集以便后续继续训练或是做预测分析用途。 - **保存**:借助`saver.save(sess, save_path)`命令可以把整个计算图连同其中所有节点的状态一并记录起来; - **加载**:相反地,如果想要重新载入某个特定时刻下的快照,则只需执行`saver.restore(sess, save_path)`就可以了[^5]。 注意上述提到的操作均适用于较早版本(即TF1.x系列),而对于新版环境(TF2.x及以上),官方推荐采用更现代化的方法论如Checkpoint API 或 SavedModel 格式替代旧有的Saver接口。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值