本文详细介绍TensorFlow模型的保存与加载方法，包括如何使用Saver类保存模型、如何从.meta文件恢复网络结构及参数值，以及如何利用保存的模型进行预测或fine-tuning。
1. Tensorflow模型是什么？
当你已经训练好一个神经网络之后，你想要保存它，用于以后的使用，部署到产品里面去。所以，Tensorflow模型是什么？Tensorflow模型主要包含网络的设计或者图（graph），和我们已经训练好的网络参数的值。
分为三部分：data-00000-of-00001、index、meta；
（*）meta file保存了graph结构,包括 GraphDef, SaverDef等,当存在meta file,我们可以不在文件中定义模型,也可以运行,而如果没有meta file,我们需要定义好模型,再加载data file,得到变量值.
（*）index file为一个 string-string table,table的key值为tensor名,value为BundleEntryProto, BundleEntryProto.
（*）data file保存了模型的所有变量的值.
因此Tensorflow模型有两个主要的文件：
A） Meta graph:
这是一个保存完整Tensorflow graph的protocol buffer，比如说，所有的 variables, operations, collections等等。这个文件的后缀是 .meta 。
B） Checkpoint file:
这是一个包含所有权重（weights），偏置（biases），梯度（gradients）和所有其他保存的变量（variables）的二进制文件。它包含两个文件：
mymodel.data-00000-of-00001
mymodel.index
其中，.data文件包含了我们的训练变量。
另外，除了这两个文件，Tensorflow有一个叫做checkpoint的文件，记录着已经最新的保存的模型文件。
注：Tensorflow 0.11版本以前，Checkpoint file只有一个后缀名为.ckpt的文件。
因此，总结来说，Tensorflow（版本0.10以后）模型长这个样子：
Tensorflow版本0.11以前，只包含以下三个文件：
inception_v1.meta
inception_v1.ckpt
checkpoint
接下来说明如何保存模型。
2. 保存一个Tensorflow模型
当网络训练结束时，我们要保存所有变量和网络结构体到文件中。在Tensorflow中，我们可以创建一个tf.train.Saver() 类的实例，如下：
saver = tf.train.Saver()
由于Tensorflow变量仅仅只在session中存在，因此需要调用save方法来将模型保存在一个session中。
saver.save(sess, 'my-test-model')在这里，sess是一个session对象，其中my-test-model是你给模型起的名字。下面是一个完整的例子：
import tensorflow as tf
w1 = tf.Variable(tf.random_normal(shape=[2]), name='w1')
w2 = tf.Variable(tf.random_normal(shape=[5]), name='w2')
saver = tf.train.Saver()
sess = tf.Session()
sess.run(tf.global_variables_initializer())
saver.save(sess, 'my_test_model')
# This will save following files in Tensorflow v >= 0.11
# my_test_model.data-00000-of-00001
# my_test_model.index
# my_test_model.meta
# checkpoint如果我们想在训练1000次迭代之后保存模型，可以使用如下方法保存
saver.save(sess, 'my_test_model',global_step=1000)这个将会在模型名字的后面追加上‘-1000’，下面的文件将会被创建：
my_test_model-1000.index
my_test_model-1000.meta
my_test_model-1000.data-00000-of-00001
checkpoint
由于网络的图（graph）在训练的时候是不会改变的，因此，我们没有必要每次都重复保存.meta文件，可以使用如下方法：
saver.save(sess, 'my-model',global_step=step,write_meta_graph=False)如果你只想要保存最新的4个模型，并且想要在训练的时候每2个小时保存一个模型，那么你可以使用max_to_keep 和 keep_checkpoint_every_n_hours，如下所示：
#saves a model every 2 hours and maximum 4 latest models are saved.
saver = tf.train.Saver(max_to_keep=4, keep_checkpoint_every_n_hours=2)注意到，我们在tf.train.Saver()中并没有指定任何东西，因此它将保存所有变量。如果我们不想保存所有的变量，只想保存其中一些变量，我们可以在创建tf.train.Saver实例的时候，给它传递一个我们想要保存的变量的list或者字典。示例如下：
import tensorflow as tf
w1 = tf.Variable(tf.random_normal(shape=[2]), name='w1')
w2 = tf.Variable(tf.random_normal(shape=[5]), name='w2')
saver = tf.train.Saver([w1,w2])
sess = tf.Session()
sess.run(tf.global_variables_initializer())
saver.save(sess, 'my_test_model',global_step=1000)
3. 导入一个已经训练好的模型
如果你想要使用别人已经训练好的模型来fine-tuning，那么你需要做两个步骤：
A）创建网络Create the network:
你可以通过写python代码，来手动地创建每一个、每一层，使得跟原始网络一样。
但是，如果你仔细想的话，我们已经将模型保存在了 .meta 文件中，因此我们可以使用tf.train.import()函数来重新创建网络，使用方法如下：
saver = tf.train.import_meta_graph('my_test_model-1000.meta')注意，这仅仅是将已经定义的网络导入到当前的graph中，但是我们还是需要加载网络的参数值。
B）加载参数Load the parameters
我们可以通过调用restore函数来恢复网络的参数，如下：
with tf.Session() as sess:
new_saver = tf.train.import_meta_graph('my_test_model-1000.meta')
new_saver.restore(sess, tf.train.latest_checkpoint('./'))在这之后，像w1和w2的tensor的值已经被恢复，并且可以获取到：
with tf.Session() as sess:
saver = tf.train.import_meta_graph('my-model-1000.meta')
saver.restore(sess,tf.train.latest_checkpoint('./'))
print(sess.run('w1:0'))
##Model has been restored. Above statement will print the saved value of w1.上面介绍了如何保存和恢复一个Tensorflow模型。下面介绍一个加载任何预训练模型的实用方法。
4. Working with restored models
下面介绍如何恢复任何一个预训练好的模型，并使用它来预测，fine-tuning或者进一步训练。当你使用Tensorflow时，你会定义一个图（graph），其中，你会给这个图喂（feed）训练数据和一些超参数（比如说learning rate，global step等）。下面我们使用placeholder建立一个小的网络，然后保存该网络。注意到，当网络被保存时，placeholder的值并不会被保存。
import tensorflow as tf
#Prepare to feed input, i.e. feed_dict and placeholders
w1 = tf.placeholder("float", name="w1")
w2 = tf.placeholder("float", name="w2")
b1= tf.Variable(2.0,name="bias")
feed_dict ={w1:4,w2:8}
#Define a test operation that we will restore
w3 = tf.add(w1,w2)
w4 = tf.multiply(w3,b1,name="op_to_restore")
sess = tf.Session()
sess.run(tf.global_variables_initializer())
#Create a saver object which will save all the variables
saver = tf.train.Saver()
#Run the operation by feeding input
print sess.run(w4,feed_dict)
#Prints 24 which is sum of (w1+w2)*b1
#Now, save the graph
saver.save(sess, 'my_test_model',global_step=1000)现在，我们想要恢复这个网络，我们不仅需要恢复图（graph）和权重，而且也需要准备一个新的feed_dict，将新的训练数据喂给网络。我们可以通过使用graph.get_tensor_by_name()方法来获得已经保存的操作（operations）和placeholder variables。
#How to access saved variable/Tensor/placeholders
w1 = graph.get_tensor_by_name("w1:0")
## How to access saved operation
op_to_restore = graph.get_tensor_by_name("op_to_restore:0")如果我们仅仅想要用不同的数据运行这个网络，可以简单的使用feed_dict来将新的数据传递给网络。
import tensorflow as tf
sess=tf.Session()
#First let's load meta graph and restore weights
saver = tf.train.import_meta_graph('my_test_model-1000.meta')
saver.restore(sess,tf.train.latest_checkpoint('./'))
# Now, let's access and create placeholders variables and
# create feed-dict to feed new data
graph = tf.get_default_graph()
w1 = graph.get_tensor_by_name("w1:0")
w2 = graph.get_tensor_by_name("w2:0")
feed_dict ={w1:13.0,w2:17.0}
#Now, access the op that you want to run.
op_to_restore = graph.get_tensor_by_name("op_to_restore:0")
print sess.run(op_to_restore,feed_dict)
#This will print 60 which is calculated
#using new values of w1 and w2 and saved value of b如果你想要给graph增加更多的操作（operations）然后训练它，可以像如下那么做：
import tensorflow as tf
sess=tf.Session()
#First let's load meta graph and restore weights
saver = tf.train.import_meta_graph('my_test_model-1000.meta')
saver.restore(sess,tf.train.latest_checkpoint('./'))
# Now, let's access and create placeholders variables and
# create feed-dict to feed new data
graph = tf.get_default_graph()
w1 = graph.get_tensor_by_name("w1:0")
w2 = graph.get_tensor_by_name("w2:0")
feed_dict ={w1:13.0,w2:17.0}
#Now, access the op that you want to run.
op_to_restore = graph.get_tensor_by_name("op_to_restore:0")
#Add more to the current graph
add_on_op = tf.multiply(op_to_restore,2)
print sess.run(add_on_op,feed_dict)
#This will print 120.
但是，你可以只恢复旧的graph的一部分，然后插入一些操作用于fine-tuning？当然可以。仅仅需要通过 by graph.get_tensor_by_name() 方法来获取合适的operation，然后在这上面建立graph。下面是一个实际的例子，我们使用meta graph 加载了一个预训练好的vgg模型，并且在最后一层将输出个数改成2，然后用新的数据fine-tuning。
......
......
saver = tf.train.import_meta_graph('vgg.meta')
# Access the graph
graph = tf.get_default_graph()
## Prepare the feed_dict for feeding data for fine-tuning
#Access the appropriate output for fine-tuning
fc7= graph.get_tensor_by_name('fc7:0')
#use this if you only want to change gradients of the last layer
fc7 = tf.stop_gradient(fc7) # It's an identity function
fc7_shape= fc7.get_shape().as_list()
new_outputs=2
weights = tf.Variable(tf.truncated_normal([fc7_shape[3], num_outputs], stddev=0.05))
biases = tf.Variable(tf.constant(0.05, shape=[num_outputs]))
output = tf.matmul(fc7, weights) + biases
pred = tf.nn.softmax(output)
5、实战tensorflow实现线性模型
针对线性回归模型，添加模型的保存以及载入功能。
import tensorflow as tf
import numpy as np
import matplotlib.pyplot as plt
plotdata = { "batchsize":[], "loss":[] }
def moving_average(a, w=10):
if len(a) < w:
return a[:]
return [val if idx < w else sum(a[(idx-w):idx])/w for idx, val in enumerate(a)]
#生成模拟数据
train_X = np.linspace(-1, 1, 100)
train_Y = 2 * train_X + np.random.randn(*train_X.shape) * 0.3 # y=2x，但是加入了噪声
#图形显示
plt.plot(train_X, train_Y, 'ro', label='Original data')
plt.legend()
plt.show()
tf.reset_default_graph()
# 创建模型
# 占位符
X = tf.placeholder("float")
Y = tf.placeholder("float")
# 模型参数
W = tf.Variable(tf.random_normal([1]), name="weight")
b = tf.Variable(tf.zeros([1]), name="bias")
# 前向结构
z = tf.multiply(X, W)+ b
#反向优化
cost =tf.reduce_mean( tf.square(Y - z))
learning_rate = 0.01
optimizer = tf.train.GradientDescentOptimizer(learning_rate).minimize(cost) #Gradient descent
# 初始化变量
init = tf.global_variables_initializer()
#参数设置
training_epochs = 20
display_step = 2
saver = tf.train.Saver() # 生成saver
savedir = "log/"
# 启动session
with tf.Session() as sess:
sess.run(init)
# Fit all training data
for epoch in range(training_epochs):
for (x, y) in zip(train_X, train_Y):
sess.run(optimizer, feed_dict={X: x, Y: y})
#显示训练中的详细信息
if epoch % display_step == 0:
loss = sess.run(cost, feed_dict={X: train_X, Y:train_Y})
print ("Epoch:", epoch+1, "cost=", loss,"W=", sess.run(W), "b=", sess.run(b))
if not (loss == "NA" ):
plotdata["batchsize"].append(epoch)
plotdata["loss"].append(loss)
print (" Finished!")
saver.save(sess, savedir+"linermodel.cpkt")
print ("cost=", sess.run(cost, feed_dict={X: train_X, Y: train_Y}), "W=", sess.run(W), "b=", sess.run(b))
#print ("cost:",cost.eval({X: train_X, Y: train_Y}))
#图形显示
plt.plot(train_X, train_Y, 'ro', label='Original data')
plt.plot(train_X, sess.run(W) * train_X + sess.run(b), label='Fitted line')
plt.legend()
plt.show()
plotdata["avgloss"] = moving_average(plotdata["loss"])
plt.figure(1)
plt.subplot(211)
plt.plot(plotdata["batchsize"], plotdata["avgloss"], 'b--')
plt.xlabel('Minibatch number')
plt.ylabel('Loss')
plt.title('Minibatch run vs. Training loss')
plt.show()
#重启一个session 如下代码用于预测新数据
with tf.Session() as sess2:
sess2.run(tf.global_variables_initializer())
saver.restore(sess2, savedir+"linermodel.cpkt")
print ("x=0.2，z=", sess2.run(z, feed_dict={X: 0.2}))打印如下：
说明
发现在代码的同级目录下的log文件夹下生成几个文件
从tensorflow保存好的ckpt文件或者是保存后的.pb文件(这里的pb是把权重和模型保存在一起的pb文件)读取权重
6、从保存的ckpt读取变量的值(以读取保存的第一个权重为例)
from tensorflow.python import pywrap_tensorflow
import tensorflow as tf
with tf.Graph().as_default():
with tf.Session() as sess:
ckpt = tf.train.get_checkpoint_state('./model_ckpt') #保存ckpt文件的文件夹
if ckpt and ckpt.model_checkpoint_path:
reader = pywrap_tensorflow.NewCheckpointReader('./model_ckpt/model.ckpt-999') #自己保存的ckpt文件名
all_variables = reader.get_variable_to_shape_map()
w1 = reader.get_tensor("Variable_1")
print(w1.shape)
print(w1)
else: print('No checkpoint file found')
"""另一种写法"""
model_dir = “/home/model”
ckpt = tf.train.get_checkpoint_state(model_dir)
ckpt_path = ckpt.model_checkpoint_path
reader = pywrap_tensorflow.NewCheckpointReader(ckpt_path)
param_dict = reader.get_variable_to_shape_map()
print(param_dict)
print(reader.get_tensor(‘batch_normalization/gamma’).shape)
7、从保存的.pb文件读取变量的值(以读取保存的第一个权重为例)
import tensorflow as tf
from tensorflow.python.framework import graph_util
from tensorflow.python.platform import gfile
import numpy as np
sess = tf.Session()
with gfile.FastGFile('Yourpb.pb', 'rb') as f: #自己保存的pb文件
graph_def = tf.GraphDef()
graph_def.ParseFromString(f.read())
sess.graph.as_default()
tf.import_graph_def(graph_def, name='')
print(sess.run('Variable_1:0'))
相关参考：
https://blog.youkuaiyun.com/chengqiuming/article/details/79981781
https://blog.youkuaiyun.com/zhouyidaniuniu/article/details/80335808
扫一扫
1960
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
