Tensorflow计算一个模型的浮点运算数

最新推荐文章于 2023-07-26 10:30:17 发布

原创

最新推荐文章于 2023-07-26 10:30:17 发布 · 6k 阅读

21 ·

CC 4.0 BY-SA版权

1、统计模型的浮点运算数和参数量

FLOPS：注意全大写，是floating point operations per second的缩写，意指每秒浮点运算次数，理解为计算速度。是一个衡量硬件性能的指标。
FLOPs：注意s小写，是floating point operations的缩写（s表复数），意指浮点运算数，理解为计算量。可以用来衡量算法/模型的复杂度。
MACCs：是multiply-accumulate operations)，也叫MAdds，意指乘-加操作，理解为计算量，MAdds 大约是 FLOPs 的一半。

当我们使用tensorflow设计好一个神经网络模型之后，我们如何统计这个模型有多少浮点运算数（FLOPs）和多少参数量呢？我们可以使用tensorflow中的一个模块来进行统计，实例如下（以统计VGG为例）：

#coding = utf-8

import tensorflow as tf
import tensorflow.contrib.slim as slim
from tensorflow.contrib.slim.nets import vgg

def stats_graph(graph):
	flops = tf.profiler.profile(graph, options=tf.profiler.ProfileOptionBuilder.float_operation())
	params = tf.profiler.profile(graph, options=tf.profiler.ProfileOptionBuilder.trainable_variables_parameter())
	print('FLOPs: {};    Trainable params: {}'.format(flops.total_float_ops, params.tot