实例14：用静态图训练一个具有保存检查点功能的回归模型

实例14：用静态图训练一个具有保存检查点功能的回归模型

回归任务：对输入数据进行计算，并输出某个具体值的任务。
与之相对的还有分类任务

一、准备开发步骤

需要完成的具体步骤如下：

• 生成模拟样本
• 搭建全连接网络模型
• 训练模型：
  在训练模型过程中，还需要完成对检查点文件的生产和载入

二、生成检查点文件

生产检查点文件步骤如下：

• 实例化一个saver对象
• 在会话中，调用saver对象的save方法保存检查点文件

1.生产saver对象

saver对象有tf.train.Saver类的实例化生成

• var_list:指定要保存的变量
• max_to_keep:指定要保存检查点文件的个数
• keep_checkpoint_every_n_hours：指定间隔几个小时保存一次模型

saver = tf.train.Saver(tf.global_varialbe(), max_to_keep=1)

将全部变量保存起来，最多质保存一个检查点文件（一个检查点文件包含三个子文件）

2.生成检查点文件

saver.save(sess, savedir+“linermodel.cpkt”, global_step=epoch)

将检查点文件保存到savedri路径。同时，将迭代global_step的值放到检查点文件的名字中

三、载入检查点文件

kpt = tf.train.latest_chechpint(savedir) 	#找到最近的检查点文件
if kpt!=None:
	saver.restore(sess, kpt)	#载入检查点文件

四、代码实现：在线性回归模型加入保存检查点功能

# -*- coding: utf-8 -*-
#使用静态图训练一个具有检查点的回归模型

import tensorflow.compat.v1 as tf
tf.compat.v1.disable_eager_execution()
import numpy as np
import matplotlib.pyplot as plt
print(tf.__version__)

#（1）生成模拟数据
train_X = np.linspace(-1, 1, 100)
train_Y = 2 * train_X + np.random.randn(*train_X.shape) * 0.3 # y=2x，但是加入了噪声
#图形显示
plt.plot(train_X, train_Y, 'ro', label='Original data')
plt.legend()
plt.show()

tf.reset_default_graph()

#（2）建立网络模型

# 创建模型
# 占位符
X = tf.placeholder("float")
Y = tf.placeholder("float")
# 模型参数
W = tf.Variable(tf.random_normal([1]), name="weight")
b = tf.Variable(tf.zeros([1]), name="bias")
# 前向结构
z = tf.multiply(X, W)+ b
global_step = tf.Variable(0, name='global_step', trainable=False)
#反向优化
cost =tf.reduce_mean( tf.square(Y - z))
learning_rate = 0.01
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost,global_step) #梯度下降

# 初始化所有变量
init = tf.global_variables_initializer()
# 定义学习参数
training_epochs = 28
display_step = 2

savedir = "log/"
saver = tf.train.Saver(tf.global_variables(), max_to_keep=1)#生成saver。 max_to_keep=1，表明最多只保存一个检查点文件

#定义生成loss可视化的函数
plotdata = { "batchsize":[], "loss":[] }
def moving_average(a, w=10):
    if len(a) < w: 
        return a[:]    
    return [val if idx < w else sum(a[(idx-w):idx])/w for idx, val in enumerate(a)]

#（3）建立session进行训练
with tf.Session() as sess:
    sess.run(init)
    kpt = tf.train.latest_checkpoint(savedir)
    if kpt!=None:
        saver.restore(sess, kpt)
     
    # 向模型输入数据
    while global_step.eval()/len(train_X) < training_epochs:
        step = int( global_step.eval()/len(train_X) )
        for (x, y) in zip(train_X, train_Y):
            sess.run(optimizer, feed_dict={X: x, Y: y})

        #显示训练中的详细信息
        if step % display_step == 0:
            loss = sess.run(cost, feed_dict={X: train_X, Y:train_Y})
            print ("global_step:", global_step.eval(), "Epoch:", step+1, "cost=", loss,"W=", sess.run(W), "b=", sess.run(b))
            if not (loss == "NA" ):
                plotdata["batchsize"].append(global_step.eval())
                plotdata["loss"].append(loss)
            saver.save(sess, savedir+"linermodel.cpkt", global_step)
                
    print (" Finished!")
    saver.save(sess, savedir+"linermodel.cpkt", global_step)
    
    print ("cost=", sess.run(cost, feed_dict={X: train_X, Y: train_Y}), "W=", sess.run(W), "b=", sess.run(b))

    #显示模型
    plt.plot(train_X, train_Y, 'ro', label='Original data')
    plt.plot(train_X, sess.run(W) * train_X + sess.run(b), label='Fitted line')
    plt.legend()
    plt.show()
    
    plotdata["avgloss"] = moving_average(plotdata["loss"])
    plt.figure(1)
    plt.subplot(211)
    plt.plot(plotdata["batchsize"], plotdata["avgloss"], 'b--')
    plt.xlabel('Minibatch number')
    plt.ylabel('Loss')
    plt.title('Minibatch run vs. Training loss')
     
    plt.show()